Tecnologia de streaming ao vivo: passado, presente e futuro
Processadores NPU e tecnologia de IA
Pode parecer que o streaming ao vivo é feito exatamente da mesma maneira há muitos anos. No entanto, nos bastidores, novos recursos de hardware, tecnologias de codificação e inovações técnicas vêm mudando constantemente o cenário. Quando entrei para o XSplit, em 2012, o streaming ao vivo começava a ganhar força. Desde então, acompanhei de perto os incríveis avanços tecnológicos que transformaram e continuam transformando o setor.
Uma das mudanças mais importantes que vimos foi a passagem da codificação baseada em CPU para a codificação de hardware na GPU. Essa mudança não foi apenas uma pequena atualização: foi uma revolução, pois tornou o streaming acessível a muito mais pessoas ao eliminar a necessidade de um equipamento de streaming proibitivamente caro, com uma CPU muito potente para produzir um stream ao vivo HD de alta qualidade. Grandes empresas como Intel, Nvidia e AMD lançaram seus próprios codificadores dedicados, reconhecendo o impacto profundo que a criação de conteúdo ao vivo começava a ter no nosso mundo digital.
Uma nova parte da arquitetura dos chips está mudando o cenário mais uma vez, com o surgimento das NPUs (Unidades de Processamento Neural). Esses chips transformam tarefas baseadas em IA, que agora podem ser executadas com mais fluidez sem sobrecarregar sua CPU ou GPU. A Intel lidera essa mudança ao integrar NPUs a todas as novas CPUs de notebooks e à maioria das CPUs para desktops, dando vida à sua visão de PCs com IA.
Para criadores de conteúdo, isso tornará ainda mais acessível no futuro aproveitar melhorias baseadas em IA na experiência de criação, como remoção de fundo, aprimoramentos de áudio, reconhecimento de destaques de jogos, legendas, reações automatizadas e muito mais, sem prejudicar a qualidade do jogo ou do streaming.
No XSplit, aproveitamos o poder das NPUs de maneiras empolgantes. Fizemos uma parceria com a Intel para aprimorar o software VCam, que usa nossa própria tecnologia de IA patenteada para remover o fundo da webcam. Quando executado em uma máquina com NPU, por exemplo, qualquer máquina com o novo processador Intel Core Ultra, o VCam agora oferece um modelo mais potente que produz resultados visivelmente melhores, especialmente em detalhes difíceis como bordas de cadeiras, headsets ou quando outra pessoa se move de repente no fundo.
O ganho de desempenho é claro: quando comparado à remoção perfeita de todos os elementos do fundo, nosso melhor modelo de IA anterior tem uma taxa média de imprecisão de 2,5%, mas, com o novo modelo otimizado para NPU, esse valor cai para apenas 1,5%, uma redução de 40% nas imprecisões. Embora a taxa de imprecisão possa parecer insignificante em ambos os casos, essa melhoria faz uma diferença real no streaming ao vivo, em que a clareza e a qualidade visual podem determinar o envolvimento dos espectadores.
Exemplos:
Veja como isso funciona na prática: fizemos uma série de testes ao vivo em um ASUS Zenbook com processador Intel Core Ultra 7 com NPU e uma placa de vídeo Intel Arc. Medimos o impacto no FPS ao jogar títulos populares como Cyberpunk 2077, Sims 4 e Fortnite enquanto codificávamos o gameplay em 720p no XSplit Broadcaster, ao mesmo tempo em que executávamos os modelos de remoção de fundo de nível mais alto na CPU e na NPU.
Os resultados foram impressionantes. Os jogos rodaram com fluidez, com impacto mínimo na taxa de quadros quando a NPU assumiu o trabalho pesado do processamento do fundo.
Nesses cenários, ao executar o melhor modelo anterior de remoção de fundo na NPU, vimos uma média de aproximadamente 13% mais FPS nos jogos em comparação com a execução do modelo na CPU. Por outro lado, ao executar o novo modelo de desempenho otimizado para NPU na CPU, o jogo apresentava travamentos constantes, enquanto a execução do novo modelo na NPU proporcionava uma experiência fluida, com média de FPS 7,5% maior do que a obtida ao executar o melhor modelo anterior na CPU.
Também observamos uma economia significativa de energia e melhorias na duração da bateria ao executar qualquer um dos modelos de IA de remoção de fundo na NPU.
O VCam usa a API OpenVINO da Intel para inferência na CPU e na NPU. Por padrão, a inferência no VCam usa precisão FP16 na NPU e na GPU, e quantização Int8 na CPU. Em uma atualização futura, o VCam poderá passar a usar Int8 também na NPU para reduzir ainda mais o consumo de energia.
O VCam otimiza os ciclos de inferência quando a câmera tem pouco ou nenhum movimento, mas, usando nossa ferramenta interna de teste de modelos, conseguimos medir o pior caso de consumo de energia usado pelo modelo de remoção de fundo, forçando a inferência em todos os quadros e testando modelos diferentes com precisões diferentes.
Em conclusão, usar a NPU para a inferência do fundo reduziu o consumo de bateria em até 60% em comparação com a inferência na CPU ou GPU, e executar o novo modelo mais avançado na NPU aumenta o consumo de energia em apenas cerca de 8% em comparação com a execução do melhor modelo anterior na NPU. No geral, isso significa mais duração de bateria e contas de energia menores, uma vitória para streamers e para o planeta.
Olhando para o futuro, o potencial das NPUs na criação de conteúdo é enorme. Estamos apenas começando a explorar o que é possível em termos de análise de vídeo em tempo real, moderação automatizada e interações personalizadas. Imagine um stream ao vivo que se adapta instantaneamente às reações e aos comentários dos espectadores, criando uma experiência realmente interativa.
Nesta série, continuaremos explorando as tecnologias que moldam o passado, o presente e o futuro do streaming ao vivo. Fique ligado para mais informações sobre como essas inovações estão redefinindo não apenas a forma como criamos conteúdo, mas também como nos conectamos com o mundo.
Comentários