Live-Streaming-Technologie: Vergangenheit, Gegenwart und Zukunft
Aktualisiert: 11. Okt.
NPU-Prozessoren und KI-Technologie
Es mag den Anschein haben, als würde Live-Streaming seit vielen Jahren genau gleich funktionieren. Hinter den Kulissen verändern neue Hardware-Funktionen, Encoding-Technologien und technische Innovationen jedoch ständig die Grundlagen. Als ich 2012 zu XSplit kam, begann Live-Streaming gerade, an Bedeutung zu gewinnen. Seitdem konnte ich die unglaublichen technologischen Fortschritte aus nächster Nähe miterleben, die diese Branche verändert haben und sie weiterhin verändern.
Eine der bedeutendsten Veränderungen war der Wechsel vom CPU-basierten Encoding zum Hardware-Encoding auf der GPU. Das war kein kleines Upgrade, sondern eine Revolution: Streaming wurde für viele Menschen zugänglich, weil kein unerschwinglich teures Streaming-System mit einer besonders leistungsstarken CPU mehr erforderlich war, um einen hochwertigen HD-Livestream zu erzeugen. Große Anbieter wie Intel, Nvidia und AMD brachten eigene dedizierte Encoder auf den Markt, weil sie erkannten, welchen tiefgreifenden Einfluss die Erstellung von Live-Inhalten auf unsere digitale Welt zu gewinnen begann.
Eine neue Chiparchitektur verändert die Landschaft nun erneut: NPUs, also Neural Processing Units, halten Einzug. Diese Chips verändern die Möglichkeiten bei KI-gestützten Aufgaben grundlegend, die nun flüssiger ausgeführt werden können, ohne CPU oder GPU stark zu belasten. Intel treibt diesen Wandel voran und integriert NPUs in alle neuen Laptop-CPUs sowie in die meisten Desktop-CPUs, um die Vision eines KI-PCs umzusetzen.
Für Content-Creator wird es dadurch künftig noch leichter, KI-basierte Verbesserungen für ihre Arbeit zu nutzen, etwa KI-gestützte Hintergrundentfernung, Audioverbesserungen, die Erkennung von Gaming-Highlights, Untertitel, automatisierte Reaktionen und vieles mehr, ohne die Gaming- oder Streamingqualität zu beeinträchtigen.
Bei XSplit haben wir die Leistung von NPUs auf spannende Weise genutzt. Gemeinsam mit Intel haben wir unsere VCam-Software weiterentwickelt, die für die Entfernung des Webcam-Hintergrunds unsere eigene patentierte KI-Technologie verwendet. Auf einem Rechner mit NPU, zum Beispiel jedem Gerät mit dem neuen Intel Core Ultra Prozessor, bietet VCam nun ein leistungsfähigeres Modell mit deutlich besseren Ergebnissen, besonders bei schwierigen Details wie Stuhlkanten, Headsets oder wenn sich plötzlich eine weitere Person im Hintergrund bewegt.
Der Leistungszuwachs ist eindeutig: Verglichen mit der perfekten Entfernung aller Hintergrundelemente liegt die durchschnittliche Ungenauigkeit unseres bisher besten KI-Modells bei 2,5 Prozent. Beim neuen, für NPUs optimierten Modell sinkt sie auf nur 1,5 Prozent, also eine Verringerung der Ungenauigkeiten um 40 %. Auch wenn beide Werte gering erscheinen, macht diese Verbesserung beim Live-Streaming einen deutlichen Unterschied, denn Klarheit und Bildqualität können die Zuschauerbindung entscheidend beeinflussen.
Beispiele:
So sieht das in der Praxis aus: Wir führten eine Reihe von Live-Tests auf einem ASUS Zenbook mit einem Intel Core Ultra 7 Prozessor mit NPU und einer Intel Arc Grafikkarte durch. Dabei ermittelten wir die Auswirkungen auf die FPS, während beliebte Spiele wie Cyberpunk 2077, Sims 4 und Fortnite gespielt und das Gameplay in XSplit Broadcaster mit 720p codiert wurde. Gleichzeitig liefen sowohl auf der CPU als auch auf der NPU die leistungsstärksten Modelle zur Hintergrundentfernung.
Die Ergebnisse waren beeindruckend. Die Spiele liefen flüssig, und die Bildrate wurde nur minimal beeinträchtigt, wenn die NPU die aufwendige Hintergrundverarbeitung übernahm.
In diesen Szenarien stellten wir beim Ausführen des bisher besten Modells zur Hintergrundentfernung auf der NPU durchschnittlich etwa 13 % mehr FPS in den Spielen fest als bei der Ausführung auf der CPU. Umgekehrt führte das neue, stärker auf Leistung optimierte NPU-Modell auf der CPU zu ständigem Ruckeln im Spiel. Auf der NPU lief das neue Modell dagegen flüssig und erzielte durchschnittlich 7,5 % mehr FPS als das bisher beste Modell auf der CPU.
Außerdem stellten wir fest, dass die Ausführung aller KI-Modelle zur Hintergrundentfernung auf der NPU erhebliche Energieeinsparungen und eine längere Akkulaufzeit ermöglichen kann.
VCam verwendet die OpenVINO-API von Intel für Inferenz auf CPU und NPU. Standardmäßig nutzt VCam für die Inferenz auf NPU und GPU die FP16-Präzision und auf der CPU die Int8-Quantisierung. In einem zukünftigen Update könnte VCam auch auf der NPU Int8 verwenden, um den Energieverbrauch weiter zu senken.
VCam optimiert die Inferenzzyklen, wenn sich die Kamera wenig oder gar nicht bewegt. Mit unserem internen Modelltestwerkzeug konnten wir jedoch den maximalen Energieverbrauch des Modells zur Hintergrundentfernung messen, indem wir die Inferenz für jedes Bild erzwangen und verschiedene Modelle mit unterschiedlichen Präzisionen testeten.
Zusammenfassend verringerte die Verwendung der NPU für die Hintergrundinferenz den Akkuverbrauch im Vergleich zur Inferenz auf CPU oder GPU um bis zu 60 %. Die Ausführung des neuen, leistungsstärkeren Modells auf der NPU erhöht den Energieverbrauch gegenüber dem bisher besten Modell auf der NPU dagegen nur um etwa 8 %. Insgesamt bedeutet das eine längere Akkulaufzeit und niedrigere Energiekosten, also einen Vorteil für Streamer und den Planeten.
Mit Blick auf die Zukunft ist das Potenzial von NPUs für die Erstellung von Inhalten enorm. Bei Echtzeit-Videoanalysen, automatisierter Moderation und personalisierten Interaktionen stehen wir erst am Anfang. Stell dir einen Livestream vor, der sich laufend an Reaktionen und Kommentare der Zuschauer anpasst und so ein wirklich interaktives Erlebnis schafft.
In dieser Serie werden wir weiterhin die Technologien untersuchen, die Vergangenheit, Gegenwart und Zukunft des Live-Streamings prägen. Freu dich auf weitere Einblicke, wie diese Innovationen nicht nur die Erstellung von Inhalten neu definieren, sondern auch unsere Verbindung zur Welt verändern.
Kommentare