라이브 스트리밍 기술 - 과거, 현재, 미래

NPU 프로세서와 AI 기술

라이브 스트리밍은 지난 수년간 똑같은 방식으로 진행되어 온 것처럼 보일 수 있습니다. 하지만 그 이면에는 새로운 하드웨어 기능, 인코딩 기술, 그리고 기술 혁신이 끊임없이 기반 환경을 변화시켜 왔습니다. 제가 2012년 XSplit에 합류했을 당시, 라이브 스트리밍은 이제 막 주목을 받기 시작했을 뿐이었습니다. 그 이후로 저는 업계를 변화시켰고, 지금도 계속 변화시키고 있는 놀라운 기술 발전을 직접 목격해 왔습니다.

우리가 목격한 가장 중요한 변화 중 하나는 CPU 기반 인코딩에서 GPU 기반 하드웨어 인코딩으로의 전환입니다. 이러한 변화는 단순한 업그레이드가 아니라, 고품질 HD 라이브 스트리밍을 제작하기 위해 더 이상 고가의 스트리밍 장비와 고성능 CPU가 필요하지 않게 되면서 대중이 스트리밍을 이용할 수 있게 된 혁명이었습니다. 인텔, 엔비디아, AMD와 같은 주요 업체들은 모두 자체 전용 인코더를 출시하며 라이브 콘텐츠 제작이 디지털 세계에 미치는 심오한 영향을 인지했습니다.

NPU(신경망 처리 장치)의 등장으로 새로운 칩 아키텍처가 다시 한번 업계 지형을 바꾸고 있습니다. 이 칩은 AI 기반 작업의 판도를 바꿔놓을 것으로 기대되며, CPU나 GPU의 부하 없이 더욱 원활하게 실행될 수 있습니다. 인텔은 이러한 변화를 주도하고 있으며, 모든 신형 노트북 CPU와 대부분의 데스크톱 CPU에 NPU를 통합하여 AI PC 비전을 실현하고 있습니다.

콘텐츠 제작자의 경우, 앞으로 AI 기반 제작자 경험 향상 기능(AI 기반 배경 제거, 오디오 향상, 게임 하이라이트 인식, 자막, 자동 반응 등)을 게임이나 스트리밍 품질에 부정적인 영향을 주지 않고 활용할 수 있는 접근성이 더욱 높아질 것입니다.

XSplit에서는 NPU의 힘을 흥미로운 방식으로 활용했습니다. 인텔과 협력하여 자체 특허 AI 기술을 사용하여 웹캠 배경을 제거하는 VCam 소프트웨어를 개선했습니다. NPU가 장착된 컴퓨터, 예를 들어 새로운 인텔 코어 울트라 프로세서가 장착된 컴퓨터에서 VCam을 실행할 때, 의자 모서리, 헤드셋 또는 다른 사람이 갑자기 배경에서 움직이는 것과 같은 까다로운 디테일을 더욱 효과적으로 처리하는 더욱 강력한 모델을 제공합니다.

성능 향상은 분명합니다. 모든 배경 요소를 완벽하게 제거했을 때 기존 최고 AI 모델의 평균 부정확도는 2.5%였지만, 새로운 NPU 최적화 모델을 사용하면 이 수치가 1.5%로 낮아져 부정확도가 40% 감소했습니다. 두 경우 모두 부정확도가 미미하게 느껴질 수 있지만, 선명도와 화질이 시청자 참여도를 좌우하는 라이브 스트리밍에서는 이러한 개선이 실질적인 차이를 만들어냅니다.

예:

Higher level of precision when segmenting edge elements like chair and headphones

Significantly reduced risk of model confusion when a person moves in the background

실제 테스트 결과는 다음과 같습니다. Intel Core Ultra 7 프로세서(NPU 포함)와 Intel Arc 그래픽 카드가 장착된 ASUS Zenbook에서 일련의 실시간 테스트를 진행했습니다. Cyberpunk 2077, Sims 4, Fortnite와 같은 인기 게임을 플레이하면서 XSplit Broadcaster에서 720p로 게임플레이를 인코딩하고, CPU와 NPU 모두에서 최고 수준의 배경 제거 모델을 실행했을 때 FPS에 미치는 영향을 벤치마킹했습니다.

결과는 인상적이었습니다. 게임은 원활하게 실행되었고, NPU가 백그라운드 처리를 담당했을 때 프레임 속도에 미치는 영향은 미미했습니다.

이러한 시나리오에서, NPU에서 이전의 최고 배경 제거 모델을 실행했을 때 CPU에서 모델을 실행했을 때보다 게임에서 평균 약 13% 더 높은 FPS를 보였습니다. 반대로, 새로운 NPU 최적화 성능 모델을 CPU에서 실행했을 때는 게임이 지속적으로 끊기는 현상이 발생했지만, NPU에서 새로운 모델을 실행했을 때는 CPU에서 이전의 최고 모델을 실행했을 때보다 평균 7.5% 더 높은 FPS로 매끄러운 경험을 제공했습니다.

또한 NPU에서 백그라운드 제거 AI 모델을 실행하면 전력 절감 효과가 크고 배터리 수명이 향상되는 것을 확인했습니다.

VCam은 CPU 및 NPU 추론을 위해 Intel의 OpenVINO API를 사용합니다. 기본적으로 VCam의 추론은 NPU 및 GPU에서 FP16 정밀도를, CPU에서는 Int8 양자화를 사용합니다. 향후 업데이트에서 VCam은 전력 소모를 더욱 줄이기 위해 NPU에서도 Int8을 사용하도록 전환할 수 있습니다.

VCam은 카메라의 움직임이 거의 없거나 전혀 없을 때 추론 주기를 최적화하지만, 자체 모델 테스트 도구를 사용하여 모든 프레임에 추론을 강제로 적용하고 다양한 정밀도로 다양한 모델을 테스트하여 배경 제거 모델에서 사용되는 최악의 전력 소비를 측정할 수 있었습니다.

Tests were run using an in-house model testing tool (smdnnTestBench), without running any apps in the background. Power consumption was measured using HWiNFO

결론적으로, NPU를 사용하여 백그라운드 추론을 수행하면 CPU/GPU 추론에 비해 배터리 소모가 최대 60% 감소했으며, 새로운 상위 모델을 NPU에서 실행하면 기존 최고 모델을 NPU에서 실행했을 때보다 전력 소모가 약 8%만 증가합니다. 전반적으로 이는 배터리 수명 연장과 에너지 비용 절감을 의미하며, 스트리머와 지구 모두에게 이로운 일입니다.

앞으로 콘텐츠 제작에서 NPU의 잠재력은 엄청날 것입니다. 실시간 비디오 분석, 자동 관리, 개인 맞춤형 상호작용 측면에서 우리는 아직 시작에 불과합니다. 시청자의 반응과 댓글에 따라 실시간으로 조정되는 라이브 스트림을 상상해 보세요. 진정한 인터랙티브 경험을 선사할 것입니다.

이 시리즈에서는 라이브 스트리밍의 과거, 현재, 그리고 미래를 형성하는 기술들을 계속해서 살펴보겠습니다. 이러한 혁신이 콘텐츠 제작 방식뿐만 아니라 세상과 소통하는 방식까지 어떻게 새롭게 정의하고 있는지에 대한 더 많은 통찰력을 기대해 주세요.