直播技术——过去、现在和未来
- SplitmediaLabs Limited
- 5月10日
- 讀畢需時 4 分鐘
NPU处理器和AI技术
过去多年，直播似乎一直沿用着同样的模式。然而，在幕后，新的硬件功能、编码技术和技术创新不断改变着底层格局。2012年我加入XSplit时，直播才刚刚开始流行。从那时起，我便亲眼见证了那些令人惊叹的技术进步，它们已经并将继续改变着这个行业。
我们所见证的最重大转变之一是从基于 CPU 的编码转向基于 GPU 的硬件编码。这一变化并非仅仅是一次小小的升级，而是一场革命，因为它让流媒体变得触手可及，不再需要价格高昂、CPU 强劲的流媒体设备来制作高质量的高清直播。英特尔、Nvidia 和 AMD 等巨头都推出了各自的专用编码器，意识到直播内容创作正在对我们的数字世界产生深远的影响。
随着神经处理单元 (NPU) 的出现，一种新的芯片架构正在再次改变格局。这些芯片彻底改变了 AI 驱动任务的格局，使这些任务能够更顺畅地运行，而不会拖慢 CPU 或 GPU 的速度。英特尔是这一转变的推动力，他们正在将 NPU 集成到所有新款笔记本电脑 CPU 和大多数台式机 CPU 中，以实现其 AI PC 愿景。
对于内容创作者来说，这将使他们未来更容易利用基于人工智能的增强功能来提升创作者体验，例如人工智能驱动的背景去除、音频增强、游戏亮点识别、字幕、自动反应等等，而不会对游戏或流媒体质量产生负面影响。
在 XSplit，我们以激动人心的方式充分利用了 NPU 的强大功能。我们与英特尔合作，增强了我们的 VCam 软件，该软件采用我们自主研发的 AI 专利技术来去除网络摄像头背景。当在搭载 NPU 的机器（例如任何搭载全新英特尔酷睿 Ultra 处理器的机器）上运行时，VCam 现在可以提供更强大的模型，带来显著更佳的效果，尤其是在处理椅子边缘、耳机或背景中突然移动等棘手细节时。
性能提升显而易见：在完美去除所有背景元素的条件下，我们之前最好的 AI 模型平均错误率为 2.5%，而使用新的 NPU 优化模型后，错误率降至仅为 1.5%，错误率降低了 40%。虽然这两种情况下的错误率听起来都微不足道，但这种改进对于直播来说意义非凡，因为清晰度和视觉质量是决定观众参与度的关键因素。
例子：
实际体验如下：我们在搭载英特尔酷睿 Ultra 7 处理器（配备 NPU）和英特尔 Arc 显卡的华硕 Zenbook 上进行了一系列实时测试。我们在运行《赛博朋克 2077》、《模拟人生 4》和《堡垒之夜》等热门游戏时，使用 XSplit Broadcaster 将游戏画面编码为 720p，同时在 CPU 和 NPU 上运行最高级别的背景消除模型，测试了游戏对 FPS 的影响。
结果令人印象深刻。游戏运行流畅，只有当 NPU 承担了繁重的后台处理任务时，对帧率的影响微乎其微。
在这些场景下，与在 CPU 上运行之前最佳的背景消除模型相比，在 NPU 上运行该模型时，游戏 FPS 平均提升约 13%。相反，在 CPU 上运行新的、针对 NPU 优化的高性能模型时，游戏会持续卡顿；而在 NPU 上运行新模型则能带来流畅的体验，平均 FPS 比在 CPU 上运行之前最佳模型高出 7.5%。
我们还发现，在 NPU 上运行任何背景消除 AI 模型时，都可以显著节省电量并延长电池寿命。
VCam 使用英特尔的OpenVINO API 在 CPU 和 NPU 上进行推理。默认情况下，VCam 在 NPU 和 GPU 上推理时使用 FP16 精度，在 CPU 上推理时使用 Int8 量化。在未来的更新中，VCam 可能会切换到在 NPU 上也使用 Int8 量化，以进一步降低功耗。
当相机几乎没有或没有移动时，VCam 会优化推理周期，但通过使用我们的内部模型测试工具，我们能够通过强制对每一帧进行推理并以不同的精度测试不同的模型来测量背景去除模型使用的最坏情况功耗。
总而言之，与在 CPU/GPU 上进行推理相比，使用 NPU 进行后台推理可将电池消耗降低高达 60%，而与在 NPU 上运行之前的最佳模型相比，在 NPU 上运行新的更高级模型仅增加约 8% 的功耗。总而言之，这意味着更长的电池寿命和更低的电费——这对流媒体用户和地球来说都是双赢的。
展望未来，NPU 在内容创作方面的潜力巨大。在实时视频分析、自动审核和个性化互动方面，我们才刚刚触及皮毛。想象一下，直播能够根据观众的反应和评论进行动态调整，从而打造真正的互动体验。
在本系列中，我们将继续探索塑造直播过去、现在和未来的技术。敬请关注，我们将深入了解这些创新如何不仅重新定义我们创作内容的方式，更重新定义我们与世界的联系。
留言