直播技术：过去、现在与未来
已更新：10月11日
NPU处理器与AI技术
直播看起来似乎多年来一直以完全相同的方式进行。然而在幕后，新的硬件能力、编码技术和技术创新一直在不断改变底层环境。2012年我加入XSplit时，直播才刚开始受到关注。从那以后，我一直近距离见证着改变并且仍在改变这个行业的惊人技术进步。
我们见证的最重大变化之一，是从基于CPU的编码转向在GPU上进行硬件编码。这不只是一次小幅升级，而是一场革命，因为它不再要求使用配备强大CPU且价格高得令人望而却步的直播主机来制作高质量高清直播，从而让大众也能进行直播。Intel、Nvidia和AMD等行业巨头都推出了自己的专用编码器，因为他们认识到直播内容创作正在对数字世界产生深远影响。
全新的芯片架构正在再次改变这一领域，NPU（神经处理单元）就是其中的代表。这些芯片会彻底改变AI驱动任务的处理方式，让任务运行得更顺畅，同时不会拖慢CPU或GPU。Intel是推动这一变化的重要力量，他们正在所有新款笔记本CPU和大多数桌面CPU中集成NPU，以实现AI PC愿景。
对内容创作者来说，未来利用基于AI的创作者体验增强功能会更加容易，例如AI驱动的背景移除、音频增强、游戏精彩片段识别、字幕、自动反应以及更多功能，而且不会对游戏或直播质量造成负面影响。
在XSplit，我们以令人期待的方式利用了NPU的能力。我们与Intel合作增强了VCam软件，它使用我们自有的专利AI技术移除网络摄像头背景。当设备配备NPU时，例如使用新款Intel Core Ultra处理器的设备，VCam现在可以提供更强大的模型，带来明显更好的结果，尤其是在处理椅子边缘、耳机，或背景中突然有人移动等棘手细节时。
性能提升十分明显：以完全移除所有背景元素作为理想标准进行测量时，我们之前最好的AI模型平均不准确率为2.5%，而新的NPU优化模型将这一数字降至仅1.5%，不准确率降低了40%。两种情况下的不准确率听起来可能都很低，但这项改进会切实影响直播，因为清晰度和画面质量可能决定观众是否愿意继续互动。
示例：
下面是它在现实中的表现：我们在搭载Intel Core Ultra 7处理器（带NPU）和Intel Arc显卡的ASUS Zenbook上进行了一系列直播测试。我们在XSplit Broadcaster中以720p编码游戏画面的同时，运行CPU和NPU上的最高级背景移除模型，并测试了游玩《Cyberpunk 2077》《模拟人生4》和《Fortnite》等热门游戏时对FPS的影响。
结果令人印象深刻。当NPU承担背景处理的主要工作时，游戏运行流畅，帧率受到的影响极小。
在这些场景中，将之前最好的背景移除模型运行在NPU上时，与在CPU上运行该模型相比，游戏平均FPS提高了约13%。相反，将新的、更高性能的NPU优化模型运行在CPU上会让游戏持续卡顿，而将新模型运行在NPU上则能带来流畅体验，平均FPS比在CPU上运行之前最好的模型高7.5%。
我们还发现，将任何背景移除AI模型运行在NPU上，可以显著节省功耗并延长电池续航。
VCam使用Intel的OpenVINO API在CPU和NPU上进行推理。默认情况下，VCam在NPU和GPU上使用FP16精度，在CPU上使用Int8量化。未来更新中，VCam可能也会在NPU上改用Int8，以进一步降低功耗。
当摄像头几乎没有移动或完全静止时，VCam会优化推理周期。但借助我们的内部模型测试工具，我们可以通过强制每帧进行推理，并使用不同精度测试不同模型，测量背景移除模型在最坏情况下的功耗。
总之，与在CPU或GPU上进行推理相比，使用NPU进行背景推理最多可以降低60%的电池消耗，而在NPU上运行新的更高性能模型，相比在NPU上运行之前最好的模型，功耗只增加约8%。总体而言，这意味着更长的电池续航和更低的能源账单，对主播和地球都是双赢。
展望未来，NPU在内容创作中的潜力巨大。关于实时视频分析、自动审核和个性化互动，我们还只是触及可能性的表面。想象一下，一场直播能够根据观众的反应和评论实时调整，从而创造真正具有互动性的体验。
在这一系列文章中，我们将继续探索塑造直播过去、现在和未来的技术。敬请期待更多内容，了解这些创新如何重新定义我们创作内容的方式，以及我们与世界建立联系的方式。
留言