Technologies du livestreaming : passé, présent et avenir
Dernière mise à jour : 11 oct.
Processeurs NPU et technologie IA
Le livestreaming peut donner l’impression d’être réalisé exactement de la même manière depuis de nombreuses années. Pourtant, en coulisses, les nouvelles capacités matérielles, les technologies d’encodage et les innovations techniques ont constamment transformé le paysage sous-jacent. Lorsque j’ai rejoint XSplit en 2012, le livestreaming commençait tout juste à gagner du terrain. Depuis, j’ai pu observer au premier rang les avancées technologiques remarquables qui ont transformé et continuent de transformer le secteur.
L’un des changements les plus importants que nous ayons vus est le passage de l’encodage sur CPU à l’encodage matériel sur GPU. Ce changement n’était pas une simple amélioration : il a révolutionné le streaming en le rendant accessible au plus grand nombre. Il n’était plus nécessaire de disposer d’une configuration de streaming très coûteuse avec un CPU puissant pour produire un stream HD de haute qualité. Des acteurs majeurs comme Intel, Nvidia et AMD ont tous lancé leurs propres encodeurs dédiés, reconnaissant l’impact profond que la création de contenu en direct commençait à avoir sur notre monde numérique.
Une nouvelle architecture de puce transforme une fois encore le paysage avec l’arrivée des NPU, ou unités de traitement neuronal. Ces puces changent la donne pour les tâches pilotées par l’IA, qui peuvent désormais s’exécuter plus fluidement sans surcharger le CPU ou le GPU. Intel joue un rôle moteur dans cette évolution en intégrant des NPU à tous ses nouveaux processeurs pour ordinateurs portables et à la plupart de ses processeurs de bureau, afin de concrétiser sa vision du PC équipé pour l’IA.
Pour les créateurs de contenu, il sera encore plus facile à l’avenir de profiter d’améliorations fondées sur l’IA, comme la suppression d’arrière-plan, les améliorations audio, la détection des moments forts de jeu, les sous-titres, les réactions automatisées et bien plus encore, sans dégrader la qualité du jeu ou du stream.
Chez XSplit, nous avons exploité la puissance des NPU de manière particulièrement intéressante. Nous avons collaboré avec Intel pour améliorer notre logiciel VCam, qui utilise notre propre technologie IA brevetée pour supprimer l’arrière-plan de la webcam. Lorsqu’il fonctionne sur une machine équipée d’un NPU, par exemple n’importe quelle machine dotée d’un nouveau processeur Intel Core Ultra, VCam propose désormais un modèle plus puissant qui offre des résultats sensiblement meilleurs, notamment pour les détails difficiles comme les bords d’une chaise, les casques ou l’arrivée soudaine d’une autre personne à l’arrière-plan.
Le gain de performance est évident : par rapport à une suppression parfaite de tous les éléments d’arrière-plan, notre précédent meilleur modèle IA affiche un taux moyen d’erreur de 2,5 %, tandis que le nouveau modèle optimisé pour les NPU le réduit à seulement 1,5 %, soit une baisse de 40 % des erreurs. Même si ces taux peuvent sembler négligeables dans les deux cas, cette amélioration fait une vraie différence en livestreaming, où la netteté et la qualité visuelle peuvent déterminer l’engagement des spectateurs.
Exemples :
Voici ce que cela donne en pratique : nous avons effectué une série de tests en direct sur un ASUS Zenbook équipé d’un processeur Intel Core Ultra 7 avec NPU et d’une carte graphique Intel Arc. Nous avons mesuré l’impact sur les FPS en jouant à des jeux populaires comme Cyberpunk 2077, Sims 4 et Fortnite, tout en encodant le gameplay en 720p dans XSplit Broadcaster et en exécutant simultanément les modèles de suppression d’arrière-plan les plus avancés sur le CPU et le NPU.
Les résultats étaient impressionnants. Les jeux fonctionnaient sans problème, avec un impact minimal sur la fréquence d’images lorsque le NPU prenait en charge le traitement lourd de l’arrière-plan.
Dans ces scénarios, lorsque nous exécutions l’ancien meilleur modèle de suppression d’arrière-plan sur le NPU, nous observions en moyenne environ 13 % de FPS supplémentaires dans les jeux par rapport à l’exécution du modèle sur le CPU. À l’inverse, lorsque nous exécutions le nouveau modèle de performance optimisé pour les NPU sur le CPU, le jeu subissait des saccades constantes. Sur le NPU, ce nouveau modèle offrait au contraire une expérience fluide, avec une moyenne de FPS supérieure de 7,5 % à celle obtenue avec l’ancien meilleur modèle sur le CPU.
Nous avons également constaté d’importantes économies d’énergie et améliorations de l’autonomie en exécutant n’importe lequel des modèles IA de suppression d’arrière-plan sur le NPU.
VCam utilise l’API OpenVINO d’Intel pour l’inférence sur CPU et NPU. Par défaut, l’inférence dans VCam utilise une précision FP16 sur le NPU et le GPU, ainsi qu’une quantification Int8 sur le CPU. Dans une future mise à jour, VCam pourrait également utiliser Int8 sur le NPU afin de réduire encore la consommation.
VCam optimise les cycles d’inférence lorsque la caméra bouge peu ou pas du tout, mais notre outil interne de test des modèles nous a permis de mesurer la consommation maximale du modèle de suppression d’arrière-plan en forçant une inférence à chaque image et en testant différents modèles avec différentes précisions.
En conclusion, utiliser le NPU pour l’inférence de l’arrière-plan a réduit la consommation de batterie jusqu’à 60 % par rapport à l’inférence sur CPU ou GPU, tandis que l’exécution du nouveau modèle plus puissant sur le NPU n’augmente la consommation que d’environ 8 % par rapport à l’ancien meilleur modèle sur le NPU. Au total, cela signifie une autonomie plus longue et des factures d’énergie moins élevées, une situation gagnante pour les streamers et la planète.
À l’avenir, le potentiel des NPU dans la création de contenu est immense. Nous ne faisons qu’effleurer ce qui est possible en matière d’analyse vidéo en temps réel, de modération automatisée et d’interactions personnalisées. Imaginez un stream qui s’adapte instantanément aux réactions et aux commentaires des spectateurs pour créer une expérience vraiment interactive.
Dans cette série, nous continuerons à explorer les technologies qui façonnent le passé, le présent et l’avenir du livestreaming. Restez avec nous pour découvrir comment ces innovations redéfinissent non seulement notre manière de créer du contenu, mais aussi notre façon de nous connecter au monde.
Commentaires