라이브 스트리밍 기술의 과거, 현재와 미래
최종 수정일: 10월 11일
NPU 프로세서와 AI 기술
라이브 스트리밍이 지난 여러 해 동안 정확히 같은 방식으로 이루어졌다고 생각할 수도 있습니다. 그러나 내부적으로는 새로운 하드웨어 기능, 인코딩 기술, 기술 혁신이 기반 환경을 계속 바꿔 왔습니다. 제가 2012년에 XSplit에 합류했을 때 라이브 스트리밍은 막 주목받기 시작했습니다. 그 이후 업계를 바꾸었고 지금도 바꾸고 있는 놀라운 기술 발전을 가장 가까이에서 지켜볼 수 있었습니다.
지금까지 가장 큰 변화 중 하나는 CPU 기반 인코딩에서 GPU의 하드웨어 인코딩으로 이동한 것입니다. 이는 단순한 소폭의 업그레이드가 아니라 혁명이었습니다. 더 이상 강력한 CPU를 탑재한 지나치게 비싼 스트리밍 장비가 없어도 고품질 HD 라이브 스트림을 만들 수 있게 되어 스트리밍이 대중에게 열렸기 때문입니다. Intel, Nvidia, AMD 같은 주요 기업도 라이브 콘텐츠 제작이 디지털 세계에 미치기 시작한 큰 영향을 인식하고 각자의 전용 인코더를 출시했습니다.
NPU, 즉 Neural Processing Unit이 등장하면서 새로운 칩 아키텍처가 다시 한 번 환경을 바꾸고 있습니다. 이 칩은 AI 기반 작업을 획기적으로 개선해 CPU나 GPU를 무겁게 사용하지 않고도 작업을 더 원활하게 실행할 수 있습니다. Intel은 모든 신형 노트북 CPU와 대부분의 데스크톱 CPU에 NPU를 통합해 AI PC 비전을 실현하고 있으며 이러한 변화의 중심에 있습니다.
콘텐츠 크리에이터에게 이는 앞으로 AI 기반 배경 제거, 오디오 개선, 게임 하이라이트 인식, 자막, 자동 반응 등 제작 경험을 향상하는 AI 기능을 게임이나 스트리밍 품질에 부정적인 영향을 주지 않고 더 쉽게 활용할 수 있다는 의미입니다.
XSplit에서는 NPU의 성능을 흥미로운 방식으로 활용해 왔습니다. 자체 특허 AI 기술로 웹캠 배경을 제거하는 VCam 소프트웨어를 개선하기 위해 Intel과 협력했습니다. NPU가 탑재된 컴퓨터, 예를 들어 새로운 Intel Core Ultra 프로세서가 장착된 컴퓨터에서 실행하면 VCam은 이제 더 강력한 모델을 제공합니다. 의자 가장자리나 헤드셋 같은 까다로운 세부 요소, 또는 배경에서 다른 사람이 갑자기 움직이는 상황에서 특히 더 나은 결과를 눈에 띄게 얻을 수 있습니다.
배경 요소를 완벽하게 제거한 경우와 비교하면 성능 향상은 분명합니다. 이전의 최고 AI 모델은 평균 부정확도가 2.5%이지만 새로운 NPU 최적화 모델에서는 1.5%로 낮아져 부정확도가 40% 감소합니다. 어느 쪽이든 부정확도 자체는 작아 보일 수 있지만, 선명도와 시각적 품질이 시청자 참여를 좌우할 수 있는 라이브 스트리밍에서는 이 개선이 실제 차이를 만듭니다.
예시:
실제 환경에서는 다음과 같이 작동합니다. Intel Core Ultra 7 프로세서와 NPU, Intel Arc 그래픽 카드가 탑재된 ASUS Zenbook에서 여러 라이브 테스트를 진행했습니다. XSplit Broadcaster에서 게임 플레이를 720p로 인코딩하면서 CPU와 NPU 양쪽에서 가장 높은 등급의 배경 제거 모델을 실행하고, 동시에 Cyberpunk 2077, Sims 4, Fortnite 같은 인기 게임을 플레이할 때 FPS에 미치는 영향을 측정했습니다.
결과는 인상적이었습니다. NPU가 배경 처리의 무거운 작업을 맡았을 때 게임은 프레임 레이트에 미치는 영향이 아주 적은 상태로 원활하게 실행되었습니다.
이러한 상황에서 이전의 최고 배경 제거 모델을 NPU에서 실행하면 CPU에서 실행할 때보다 게임의 평균 FPS가 약 13% 높았습니다. 반대로 새로운 고성능 NPU 최적화 모델을 CPU에서 실행하면 게임이 계속 끊겼지만, NPU에서 실행하면 CPU에서 이전 최고 모델을 실행할 때보다 평균 FPS가 7.5% 높은 원활한 환경을 얻을 수 있었습니다.
NPU에서 배경 제거 AI 모델을 실행하면 전력 절감과 배터리 수명 개선 효과도 크게 얻을 수 있었습니다.
VCam은 CPU와 NPU에서 추론을 수행할 때 Intel의 OpenVINO API를 사용합니다. 기본적으로 VCam은 NPU와 GPU에서 FP16 정밀도, CPU에서 Int8 양자화를 사용해 추론합니다. 향후 업데이트에서는 전력 사용량을 더 낮추기 위해 NPU에서도 Int8을 사용하도록 바뀔 수 있습니다.
카메라 움직임이 거의 없거나 전혀 없을 때 VCam은 추론 주기를 최적화합니다. 하지만 자체 모델 테스트 도구를 사용해 모든 프레임에서 강제로 추론을 실행하고 정밀도가 서로 다른 모델을 테스트함으로써 배경 제거 모델이 사용하는 최악의 전력 소비량을 측정할 수 있었습니다.
결론적으로 배경 추론에 NPU를 사용하면 CPU 또는 GPU에서 추론할 때보다 배터리 소비량이 최대 60% 줄었습니다. 새로운 고성능 모델을 NPU에서 실행할 때의 전력 소비량도 NPU에서 이전 최고 모델을 실행할 때보다 약 8%만 증가합니다. 전체적으로 배터리 사용 시간은 길어지고 에너지 요금은 낮아지는, 스트리머와 지구 모두에게 좋은 결과입니다.
앞으로 콘텐츠 제작에서 NPU가 가진 잠재력은 매우 큽니다. 실시간 비디오 분석, 자동 모더레이션, 개인화된 상호작용에서 가능한 일의 표면을 이제 막 긁어 보고 있을 뿐입니다. 시청자의 반응과 댓글에 맞춰 즉시 변화하며 진정한 상호작용 경험을 만드는 라이브 스트림을 상상해 보세요.
이 시리즈에서는 라이브 스트리밍의 과거, 현재, 미래를 형성하는 기술을 계속 살펴보겠습니다. 이러한 혁신이 콘텐츠를 만드는 방식뿐 아니라 세상과 연결되는 방식까지 어떻게 다시 정의하는지 더 많은 이야기를 전해 드릴 테니 기대해 주세요.
댓글