Livestreamingteknologi – fortid, nutid og fremtid

NPU-processorer og AI-teknologi

Det kan virke som om, at livestreaming har været den samme i årevis. Men bag kulisserne har nye hardwarefunktioner, kodningsteknologier og tekniske innovationer konstant ændret det underliggende landskab. Da jeg kom til XSplit i 2012, var livestreaming lige begyndt at tage fart. Siden da har jeg på første hånd været vidne til de utrolige teknologiske fremskridt, der har transformeret og fortsat transformerer branchen.

En af de mest betydningsfulde ændringer, vi har set, er skiftet fra CPU-baseret kodning til hardwarekodning på GPU'en. Denne ændring var ikke bare en mindre opgradering, men en revolution, der åbnede streaming for masserne. Produktion af en HD-livestream i høj kvalitet krævede ikke længere uoverkommeligt dyrt streamingudstyr med en kraftfuld CPU. Store aktører som Intel, Nvidia og AMD lancerede alle deres egne dedikerede encodere i erkendelse af den dybtgående indflydelse, som liveindholdsskabelse havde på vores digitale verden.

En ny chiparkitektur ændrer landskabet igen: NPU'er (Neural Processing Units). Disse chips baner vejen for AI-drevne opgaver, som nu kører mere gnidningsløst uden at belaste CPU'en eller GPU'en. Intel er en drivende kraft bag denne ændring og integrerer NPU'er i alle nye bærbare CPU'er og de fleste stationære CPU'er for at gøre sin vision om AI PC til virkelighed.

Dette vil gøre det endnu nemmere for indholdsskabere at drage fordel af AI-baserede forbedringer af skaberoplevelsen, såsom AI-drevet baggrundsfjerning, lydforbedringer, registrering af højdepunkter i spil, undertekster, automatiserede reaktioner og mere, uden at det påvirker gameplay- eller streamingkvaliteten negativt.

Hos XSplit har vi udnyttet kraften i NPU'er på spændende måder. Sammen med Intel har vi forbedret vores VCam-software, som udnytter vores patenterede AI-teknologi til fjernelse af webcam-baggrund. På en computer med en NPU, f.eks. enhver computer med den nye Intel Core Ultra-processor, tilbyder VCam nu en mere kraftfuld model, der leverer betydeligt bedre resultater – især til vanskelige detaljer som stolekanter, headsets eller pludselige bevægelser fra andre personer i baggrunden.

Forbedringen af ydeevnen er betydelig: Målt i forhold til den perfekte fjernelse af alle baggrundselementer havde vores tidligere bedste AI-model en gennemsnitlig unøjagtighedsrate på 2,5 procent. Med den nye NPU-optimerede model falder dette til blot 1,5 procent – en reduktion på 40 % i unøjagtigheder. Selvom unøjagtighedsraten synes ubetydelig i begge tilfælde, gør denne forbedring en reel forskel i livestreaming, da klarhed og billedkvalitet bestemmer seerengagementet.

Eksempler:

Higher level of precision when segmenting edge elements like chair and headphones

Significantly reduced risk of model confusion when a person moves in the background

Sådan ser det ud i praksis: Vi kørte en række live-tests på en ASUS Zenbook med en Intel Core Ultra 7-processor med NPU og et Intel Arc-grafikkort. Vi målte effekten på FPS, mens vi spillede populære spil som Cyberpunk 2077, Sims 4 og Fortnite, mens vi kodede gameplay i 720p i XSplit Broadcaster og kørte baggrundsfjerningsmodeller af højeste kvalitet på både CPU og NPU.

Resultaterne var imponerende. Spil kørte problemfrit, og billedhastighederne blev kun minimalt påvirket, når NPU'en håndterede størstedelen af baggrundsbehandlingen.

I disse scenarier resulterede det i gennemsnit cirka 13 % højere FPS i spil at køre den tidligere bedste model for baggrundsfjerning på NPU'en end at køre modellen på CPU'en. Omvendt forårsagede det, at spillet hakkede konstant at køre den nye, NPU-optimerede ydeevnemodel på CPU'en – mens den nye model på NPU'en leverede en problemfri oplevelse med en gennemsnitlig FPS på 7,5 % højere end at køre den tidligere bedste model på CPU'en.

Vi oplevede også betydelige strømbesparelser og forbedringer af batterilevetiden, da vi kørte en af AI-modellerne til fjernelse af baggrund på NPU'en.

VCam bruger Intels OpenVINO API til inferens på CPU'en og NPU'en. Som standard bruger VCam FP16-præcision på NPU'en og GPU'en og Int8-kvantisering på CPU'en. I en fremtidig opdatering kan VCam også skifte til Int8 på NPU'en for yderligere at reducere strømforbruget.

VCam optimerer inferenscyklusser, når kameraet bevæger sig lidt eller slet ikke. Ved hjælp af vores interne modeltestværktøj var vi dog i stand til at måle det værst tænkelige strømforbrug, der anvendes af baggrundsfjernelsesmodellen, ved at tvinge inferens på hvert billede og teste forskellige modeller med varierende nøjagtighedsniveauer.

Tests were run using an in-house model testing tool (smdnnTestBench), without running any apps in the background. Power consumption was measured using HWiNFO

Kort sagt reducerede brugen af NPU'en til baggrundsinferens batteriforbruget med op til 60 % sammenlignet med CPU/GPU-inferens. Kørsel af den nye, mere kraftfulde model på NPU'en øgede kun strømforbruget med cirka 8 % sammenlignet med at køre den tidligere, bedre model på NPU'en. Samlet set betyder dette både længere batterilevetid og lavere elomkostninger – en win-win for streamere og planeten.

NPU'ernes potentiale inden for indholdsskabelse er enormt. Vi er kun lige begyndt at skrabe overfladen af, hvad der er muligt med hensyn til videoanalyse i realtid, automatiseret moderering og personlige interaktioner. Forestil dig en livestream, der tilpasser sig seernes reaktioner og kommentarer undervejs og skaber en virkelig interaktiv oplevelse.

I denne serie fortsætter vi med at udforske de teknologier, der former fortiden, nutiden og fremtiden for livestreaming. Følg med for at få mere indsigt i, hvordan disse innovationer omdefinerer ikke kun den måde, vi skaber indhold på, men også hvordan vi interagerer med verden.