Technologie de diffusion en direct – passé, présent et futur

Processeurs NPU et technologie d'IA

On pourrait croire que le streaming en direct est resté le même depuis des années. Pourtant, en coulisses, de nouvelles fonctionnalités matérielles, technologies d'encodage et innovations techniques ont constamment transformé le paysage sous-jacent. Lorsque j'ai rejoint XSplit en 2012, le streaming en direct commençait tout juste à décoller. Depuis, j'ai pu constater de visu les avancées technologiques incroyables qui ont transformé et continuent de transformer le secteur.

L'un des changements les plus marquants que nous ayons observés est le passage de l'encodage basé sur le processeur à l'encodage matériel sur le GPU. Ce changement n'était pas une simple mise à niveau, mais une révolution qui a ouvert le streaming au grand public. Produire un streaming HD en direct de haute qualité ne nécessitait plus d'équipements de streaming hors de prix dotés d'un processeur puissant. Des acteurs majeurs comme Intel, Nvidia et AMD ont tous lancé leurs propres encodeurs dédiés, conscients de l'impact profond de la création de contenu en direct sur notre monde numérique.

Une nouvelle architecture de puce révolutionne à nouveau le paysage : les unités de traitement neuronal (NPU). Ces puces permettent aux tâches basées sur l'IA de s'exécuter plus facilement, sans solliciter le processeur ou le processeur graphique. Intel est à l'origine de ce changement, intégrant des NPU à tous les nouveaux processeurs d'ordinateurs portables et à la plupart des processeurs de bureau pour concrétiser sa vision du PC IA.

Cela permettra aux créateurs de contenu de profiter encore plus facilement des améliorations basées sur l'IA apportées à l'expérience de création, telles que la suppression de l'arrière-plan alimentée par l'IA, les améliorations audio, la détection des points forts du jeu, les sous-titres, les réactions automatisées, etc., sans impact négatif sur le gameplay ou la qualité du streaming.

Chez XSplit, nous exploitons la puissance des NPU de manière innovante. En collaboration avec Intel, nous avons amélioré notre logiciel VCam, qui exploite notre technologie d'IA brevetée pour la suppression de l'arrière-plan des webcams. Sur un ordinateur équipé d'un NPU, comme tout ordinateur équipé du nouveau processeur Intel Core Ultra, VCam offre désormais un modèle plus puissant offrant des résultats nettement supérieurs, notamment pour les détails délicats comme les bords de chaise, les casques ou les mouvements brusques d'autres personnes en arrière-plan.

L'amélioration des performances est significative : comparé à la suppression parfaite de tous les éléments d'arrière-plan, notre précédent meilleur modèle d'IA présentait un taux d'inexactitude moyen de 2,5 %. Avec le nouveau modèle optimisé NPU, ce taux tombe à seulement 1,5 %, soit une réduction de 40 % des inexactitudes. Si le taux d'inexactitude semble insignifiant dans les deux cas, cette amélioration fait une réelle différence en streaming en direct, car la clarté et la qualité de l'image déterminent l'engagement du spectateur.

Exemples :

Higher level of precision when segmenting edge elements like chair and headphones

Significantly reduced risk of model confusion when a person moves in the background

Voici comment cela fonctionne en pratique : nous avons effectué une série de tests en direct sur un ASUS Zenbook équipé d'un processeur Intel Core Ultra 7 avec NPU et d'une carte graphique Intel Arc. Nous avons mesuré l'impact sur le nombre d'images par seconde (FPS) lors de l'utilisation de jeux populaires comme Cyberpunk 2077, les Sims 4 et Fortnite, tout en encodant le gameplay en 720p dans XSplit Broadcaster et en exécutant des modèles de suppression d'arrière-plan de la plus haute qualité sur le processeur et le NPU.

Les résultats ont été impressionnants. Les jeux fonctionnaient parfaitement et la fréquence d'images n'était que très peu affectée lorsque le NPU prenait en charge la majeure partie du traitement en arrière-plan.

Dans ces scénarios, l'exécution du meilleur modèle de suppression d'arrière-plan précédent sur le NPU a généré une augmentation moyenne d'environ 13 % du nombre d'images par seconde (IPS) dans les jeux par rapport à l'exécution du modèle sur le CPU. À l'inverse, l'exécution du nouveau modèle de performances optimisé pour le NPU sur le CPU a provoqué des saccades constantes du jeu, tandis que le nouveau modèle sur le NPU a offert une expérience fluide avec une IPS moyenne supérieure de 7,5 % à celle de l'exécution du meilleur modèle précédent sur le CPU.

Nous avons également constaté des économies d’énergie significatives et des améliorations de la durée de vie de la batterie lorsque nous avons exécuté l’un des modèles d’IA de suppression d’arrière-plan sur le NPU.

VCam utilise l'API OpenVINO d'Intel pour l'inférence sur le processeur et le processeur NPU. Par défaut, VCam utilise la précision FP16 sur le processeur NPU et le processeur graphique, ainsi que la quantification Int8 sur le processeur. Dans une prochaine mise à jour, VCam pourrait également passer à Int8 sur le processeur NPU afin de réduire davantage la consommation d'énergie.

VCam optimise les cycles d'inférence lorsque la caméra bouge peu ou pas du tout. Cependant, grâce à notre outil de test de modèle interne, nous avons pu mesurer la consommation énergétique la plus défavorable du modèle de suppression d'arrière-plan en forçant l'inférence sur chaque image et en testant différents modèles avec différents niveaux de précision.

Tests were run using an in-house model testing tool (smdnnTestBench), without running any apps in the background. Power consumption was measured using HWiNFO

En résumé, l'utilisation du NPU pour l'inférence en arrière-plan a permis de réduire la consommation de batterie jusqu'à 60 % par rapport à l'inférence CPU/GPU. L'utilisation du nouveau modèle, plus puissant, sur le NPU n'a augmenté la consommation d'énergie que d'environ 8 % par rapport à l'ancien modèle, plus performant. Au final, cela se traduit par une autonomie accrue et une réduction des coûts d'électricité : une situation gagnante pour les streamers et pour la planète.

Le potentiel des NPU en matière de création de contenu est énorme. Nous n'en sommes qu'à un premier aperçu des possibilités offertes en matière d'analyse vidéo en temps réel, de modération automatisée et d'interactions personnalisées. Imaginez un flux en direct qui s'adapte aux réactions et commentaires des spectateurs, créant ainsi une expérience véritablement interactive.

Dans cette série, nous continuons d'explorer les technologies qui façonnent le passé, le présent et l'avenir du streaming en direct. Restez connectés pour découvrir comment ces innovations redéfinissent non seulement notre façon de créer du contenu, mais aussi notre façon d'interagir avec le monde.