Live streaming-teknologi: Fortid, nutid og fremtid
Opdateret: 11. okt.
NPU-processorer og AI-teknologi
Det kan virke, som om live streaming er blevet udført på præcis samme måde i mange år. Men under overfladen har nye hardwarefunktioner, encodingteknologier og tekniske nyskabelser hele tiden ændret det underliggende landskab. Da jeg begyndte hos XSplit i 2012, var live streaming kun lige begyndt at få fodfæste. Siden da har jeg haft en plads på første række til de utrolige teknologiske fremskridt, der har forandret og stadig forandrer branchen.
En af de største ændringer, vi har set, er skiftet fra CPU-baseret encoding til hardwareencoding på GPU’en. Det var ikke bare en mindre opgradering, men en revolution, fordi streaming blev tilgængelig for langt flere. Man behøvede ikke længere et ekstremt dyrt streaming-setup med en kraftig CPU for at producere en live HD-stream i høj kvalitet. Store aktører som Intel, Nvidia og AMD lancerede alle deres egne dedikerede encodere, fordi de kunne se, hvilken betydning live-indholdsproduktion var begyndt at få for vores digitale verden.
En ny type chiparkitektur ændrer nu landskabet igen med fremkomsten af NPU’er (Neural Processing Units). Disse chips er banebrydende til AI-drevne opgaver, som nu kan køre mere gnidningsfrit uden at belaste CPU eller GPU. Intel driver denne udvikling ved at integrere NPU’er i alle nye laptop-CPU’er og de fleste desktop-CPU’er for at føre virksomhedens vision om AI-PC’er ud i livet.
For indholdsskabere bliver det fremover endnu lettere at drage fordel af AI-baserede forbedringer af oplevelsen, for eksempel AI-drevet fjernelse af baggrund, lydforbedringer, registrering af gaminghøjdepunkter, undertekster, automatiske reaktioner og meget mere, uden at gaming- eller streamingkvaliteten forringes.
Hos XSplit har vi udnyttet NPU’ernes kraft på spændende måder. Vi samarbejdede med Intel om at forbedre vores VCam-software, som bruger vores egen patenterede AI-teknologi til at fjerne baggrunden fra webcamvideo. Når VCam kører på en computer med en NPU, for eksempel en computer med den nye Intel Core Ultra-processor, tilbyder VCam nu en kraftigere model, der giver mærkbart bedre resultater, især ved vanskelige detaljer som stolekanter og headsets, eller når en anden person pludselig bevæger sig i baggrunden.
Ydeevneforbedringen er tydelig. Målt mod en perfekt fjernelse af alle baggrundselementer har vores tidligere bedste AI-model en gennemsnitlig unøjagtighed på 2,5 procent. Med den nye NPU-optimerede model falder tallet til blot 1,5 procent, en reduktion af unøjagtighederne på 40 procent. Selvom unøjagtigheden kan lyde ubetydelig i begge tilfælde, gør forbedringen en reel forskel i live streaming, hvor klarhed og visuel kvalitet kan afgøre, om seerne engagerer sig.
Eksempler:
Sådan ser det ud i praksis: Vi gennemførte en række live-tests på en ASUS Zenbook med en Intel Core Ultra 7-processor med NPU og et Intel Arc-grafikkort. Vi målte påvirkningen af FPS, mens vi spillede populære spil som Cyberpunk 2077, Sims 4 og Fortnite og samtidig encodede gameplayet i 720p i XSplit Broadcaster, mens de mest avancerede modeller til fjernelse af baggrund kørte på både CPU og NPU.
Resultaterne var imponerende. Spillene kørte problemfrit, med kun en minimal påvirkning af billedhastigheden, når NPU’en stod for det tunge baggrundsarbejde.
I disse scenarier så vi i gennemsnit cirka 13 procent højere FPS i spillene, når den tidligere bedste model til fjernelse af baggrund kørte på NPU’en sammenlignet med CPU’en. Omvendt gav den nye, mere avancerede NPU-optimerede model konstant hakken i spillet, når den kørte på CPU’en, mens den gav en jævn oplevelse på NPU’en med 7,5 procent højere gennemsnitlig FPS end den tidligere bedste model på CPU’en.
Vi så også betydelige strømbesparelser og forbedringer af batteritiden, når en af AI-modellerne til fjernelse af baggrund kørte på NPU’en.
VCam bruger Intels OpenVINO-API til inferens på CPU og NPU. Som standard bruger VCam FP16-præcision på NPU og GPU samt Int8-kvantisering på CPU. I en fremtidig opdatering kan VCam også skifte til Int8 på NPU for at reducere strømforbruget yderligere.
VCam optimerer inferenscyklusserne, når kameraet bevæger sig lidt eller slet ikke. Ved hjælp af vores interne værktøj til modeltest kunne vi dog måle det værst tænkelige strømforbrug fra modellen til fjernelse af baggrund ved at tvinge inferens på hvert billede og teste forskellige modeller med forskellig præcision.
Konklusionen er, at brug af NPU til baggrundsinferens reducerede batteriforbruget med op til 60 procent sammenlignet med inferens på CPU eller GPU. Den nye, større model på NPU øger kun strømforbruget med cirka 8 procent sammenlignet med den tidligere bedste model på NPU. Samlet betyder det længere batteritid og lavere energiregninger, en fordel for både streamere og planeten.
Når vi ser fremad, er potentialet i NPU’er til indholdsproduktion enormt. Vi har kun skrabet overfladen af mulighederne inden for videoanalyse i realtid, automatisk moderation og personlige interaktioner. Forestil dig en livestream, der tilpasser sig seernes reaktioner og kommentarer undervejs og skaber en virkelig interaktiv oplevelse.
I denne serie vil vi fortsætte med at udforske de teknologier, der former live streaming i fortid, nutid og fremtid. Følg med for flere indsigter i, hvordan disse innovationer ændrer både den måde, vi skaber indhold på, og den måde, vi forbinder os med verden.
Kommentarer