ライブストリーミング技術、過去・現在・未来

NPUプロセッサーとAI技術

ライブストリーミングは、長年ずっと同じ方法で行われてきたように見えるかもしれません。しかし内部では、新しいハードウェアの能力、エンコード技術、技術革新が基盤となる環境を絶えず変えてきました。2012年にXSplitへ入社した当時、ライブストリーミングはまだ広がり始めたばかりでした。それ以来、業界を変え、今も変え続けている驚くべき技術の進歩を最前列で見てきました。

私たちが見てきた大きな変化の一つは、CPUベースのエンコードからGPU上のハードウェアエンコードへの移行です。これは小さなアップグレードではなく革命でした。高品質なHDライブ配信を行うために、高性能CPUを搭載した非常に高価な配信環境が不要になり、配信が広く利用できるようになったからです。Intel、Nvidia、AMDなどの大手企業も専用エンコーダーを展開し、ライブコンテンツ制作がデジタル世界に与え始めた大きな影響を認識していました。

新しいチップアーキテクチャであるNPU（ニューラル処理ユニット）の登場が、環境を再び変えています。NPUはAI主導の処理に大きな変化をもたらし、CPUやGPUに負荷をかけず、処理をより滑らかに実行できます。Intelはこの変化を推進しており、AI PCのビジョンを実現するため、新しいノートPC用CPUすべてと、ほとんどのデスクトップCPUにNPUを組み込んでいます。

コンテンツクリエイターにとって、AIによる背景除去、音声強化、ゲームのハイライト認識、字幕、自動リアクションなど、制作体験を高めるAIベースの機能を、ゲームや配信の品質に悪影響を与えず今後さらに活用しやすくなるでしょう。

XSplitでは、NPUの力を刺激的な方法で活用してきました。Intelと協力して、独自の特許取得済みAI技術でウェブカメラの背景を除去するVCamソフトウェアを強化しました。NPUを搭載したマシン、例えば新しいIntel Core Ultraプロセッサーを搭載したマシンで実行すると、VCamは今、より強力なモデルを提供し、椅子の輪郭やヘッドセット、背景で別の人が突然動いた場合など、扱いの難しい細部で特に目に見えて優れた結果を得られます。

性能向上は明らかです。背景要素をすべて完全に除去した状態を基準にすると、従来最高だったAIモデルの平均誤差率は2.5％ですが、新しいNPU最適化モデルではわずか1.5％に下がり、誤差が40％減少します。どちらの誤差率も小さく聞こえるかもしれませんが、明瞭さと映像品質が視聴者のエンゲージメントを左右するライブ配信では、この改善が大きな違いを生みます。

例:

椅子やヘッドホンなど、境界にある要素を分離する際の精度が向上

背景で人が動いたときにモデルが混乱するリスクを大幅に低減

実際の環境では次のようになりました。NPU搭載のIntel Core Ultra 7プロセッサーとIntel Arcグラフィックスカードを備えたASUS Zenbookで、一連のライブテストを実施しました。CPUとNPUの両方で最高品質の背景除去モデルを動かしながら、XSplit Broadcasterでゲームプレイを720pエンコードし、Cyberpunk 2077、Sims 4、Fortniteなどの人気ゲームをプレイした場合のFPSへの影響を測定しました。

結果は印象的でした。背景処理をNPUが担うと、フレームレートへの影響は最小限にとどまり、ゲームは滑らかに動作しました。

この環境で従来最高の背景除去モデルをNPU上で動かすと、CPU上で動かした場合と比べ、ゲームのFPSは平均約13％高くなりました。一方、新しい高性能NPU最適化モデルをCPU上で動かすとゲームは常に途切れましたが、新モデルをNPU上で動かすと滑らかに動作し、従来最高モデルをCPU上で動かした場合より平均FPSが7.5％高くなりました。

背景除去AIモデルをNPU上で動かすと、大幅な省電力とバッテリー駆動時間の改善も得られることが分かりました。

VCamはIntelのOpenVINO APIを使ってCPUとNPUで推論を行います。デフォルトでは、VCamはNPUとGPUでFP16精度、CPUでInt8量子化を使用します。将来のアップデートでは、消費電力をさらに下げるため、NPUでもInt8を使うよう変更される可能性があります。

VCamはカメラの動きが少ない、またはない場合に推論サイクルを最適化します。一方、社内のモデルテストツールを使い、すべてのフレームで推論を強制し、異なる精度のモデルをテストすることで、背景除去モデルの最悪時の消費電力を測定できました。

テストは社内のモデルテストツール（smdnnTestBench）を使い、バックグラウンドでアプリを実行せずに行いました。消費電力はHWiNFOで測定しました。

結論として、背景推論にNPUを使うと、CPU/GPUで推論する場合と比べてバッテリー消費を最大60％削減できました。また、新しい高性能モデルをNPUで動かした場合の消費電力は、従来最高モデルをNPUで動かした場合と比べて約8％増えるだけです。つまり、バッテリー駆動時間が長くなり、電気代も下がるため、配信者にも地球にもメリットがあります。

今後、コンテンツ制作におけるNPUの可能性は非常に大きいでしょう。リアルタイム映像分析、自動モデレーション、個別化されたインタラクションで可能になることは、まだ表面を探り始めたばかりです。視聴者のリアクションやコメントにその場で適応し、本当にインタラクティブな体験を生み出すライブ配信を想像してみてください。

このシリーズでは、ライブストリーミングの過去、現在、未来を形作る技術を引き続き探ります。こうした革新がコンテンツの作り方だけでなく、世界とのつながり方もどのように変えているのか、今後の考察にご期待ください。

https://youtu.be/WsL5F_Jm0V0