"지난해는 딥시크, 올해는 '시댄스 모멘트'?" 중국 영상 AI 돌풍

바이트댄스 7일 출시한 '시댄스 2.0' 인기몰이

"가장 진보한 영상AI" 소라2·베오3.1도 제쳐

"1인 영화 제작시대" 영화급 장면도 '뚝딱'

"목소리도 재현?" 틱톡 데이터 무단 학습 의혹

중국 관영 영자지 글로벌타임스가 극찬한 바이트댄스 영상생성 AI 모델 '시댄스 2.0'. [사진=글로벌타임스 웹사이트 캡처화면]

“지구상에서 가장 강력한 AI 비디오 생성 모델이다. 시댄스2.0이 중국에서 만들어져서 다행이다."

중국 AAA 게임 '검은 신화: 오공' 제작사 게임사이언스의 창업자 펑지가 9일 소셜미디어 웨이보에 올린 글이다. 그는 중국 빅테크(대형 인터넷기업) 바이트댄스가 7일 첫선을 보인 영상 생성 AI 모델 ‘시댄스 2.0’ 테스트 버전의 놀라운 결과물에 감탄을 금치 못했다. 
 

"가장 진보한 영상AI" 오픈AI 소라2·구글 베오3.1도 제쳐

중국 현지 언론들은 기존 영화·영상 산업의 패러다임을 뒤흔들 기술이라며, 지난해 ‘딥시크 모멘트’에 이어 올해는 ‘시댄스 모멘트’가 도래했다고 평가했다.

‘딥시크 모멘트’란 중국 AI 모델 딥시크가 세계 시장을 놀라게 했던 지난해를, 소련의 인공위성 발사에 빗댄 ‘스푸트니크 모멘트’에 견줘 표현한 용어다. 중국 내에서는 시댄스 2.0이 그에 버금가는 기술적 전환점이 될 것이란 기대가 확산되고 있다.

시댄스는 바이트댄스가 2025년 처음 출시한 영상 AI 모델이다. 초기에는 콰이서우의 ‘클링’, 오픈AI의 ‘소라’ 등과 비교해 성능이 뒤처진다는 평가를 받았지만, 더우인(틱톡의 중국판 서비스)을 비롯한 바이트댄스 산하 플랫폼에 축적된 방대한 영상 데이터를 학습에 활용하면서 빠르게 성능을 끌어올렸다는 분석이다.

시댄스 2.0의 가장 큰 특징은 단 한 줄의 텍스트 명령과 참고 이미지만으로 오디오가 포함된 멀티샷 영상을 생성할 수 있다는 점이다. 기존 AI 영상 모델들이 5~10초 분량의 단편 클립 생성에 머물렀다면, 시댄스 2.0은  영화처럼 다양한 앵글과 장면 전환이 자연스럽게 이어지는 1분 짜리 영상을 만들어낸다.

AFP는 스위스 컨설팅업체 CTOL 디지털 솔루션즈 분석을 인용해 “시댄스 2.0은 현재 공개된 AI 영상 생성 모델 가운데 가장 진보한 수준”이라며 “실전 테스트에서 오픈AI의 소라2와 구글의 베오3.1을 능가했다”고 전했다.
 

"1인 영화 제작시대" 사진 2장으로 영화급 장면 구현

 

인플루언서 팀이 간단한 명령어와 함께 이미지 2장을 업로드한 후 생성된 1분짜리 영상의 캡처화면 [사진=유튜브] 

특히 중국 유명 테크 인플루언서 팀(본명 판톈훙)이 9일 올린 실제 리뷰 영상은 온라인에서 화제가 됐다. 팀은 중국 음료브랜드 미쉐빙청의 눈사람 마스코트와 스타벅스 등 외국계 커피 브랜드 앞치마를 입은 로봇 이미지 두 장을 업로드한 뒤 “두 장의 이미지 속 캐릭터가 상하이 동방명주 옆에서 격투하는 영상을 만들어 줘. 영화 '트랜스포머' 느낌을 살려 전투 장면을 격렬하고 멋지게 연출해”라는 명령을 입력했다.  불과 몇 초 만에 생성된 1분짜리 영상은 격렬한 격투, 강렬한 레이저 특수 효과, 시시각각 변하는 배경화면과 긴장감 넘치는 BGM과 효과음까지 갖춘 영화급 장면을 구현했다.

팀은 특히 시댄스 2.0이 영화 속 카메라 움직임을 자동으로 시뮬레이션해 특수효과 제작 시간을 대폭 단축시켰다며 “전통적인 영화·TV 제작 방식이 AI 쓰나미에 직면하고 있다”고 평가했다. 

전문가들은 시댄스 2.0이 영화, 광고, 애니메이션 등 전문 영상 제작의 진입 장벽을 크게 낮추고 제작 비용을 획기적으로 줄일 것으로 보고 있다. 영화 콘텐츠 분야의 한 유명 크리에이터는 “7년간 공부한 영화 제작 기술의 90%가 무용지물이 된 느낌”이라고 토로했다.

중국 관영 영자지 글로벌타임스는 11일자 사평에서 “시댄스 2.0은 중국 과학기술 혁신의 축소판이자 새로운 출발점”이라며 “한 사람이 영화를 만들 수 있는 시대가 현실로 다가오고 있다”고 평가했다. 이어 “중국 특유의 제도적 환경, 시장 규모, 기업의 실행력, 그리고 기술 자립 전략이 결합된 결과”라고 전했다. 

왕펑 중국 사회과학원 부연구원은 “시댄스 2.0의 성공은 중국의 자체 AI가 멀티모달 응용 분야에서도 글로벌 선도 기업과 ‘어깨를 견주는 수준’에 도달했음을 보여준다”며 “이번 성과는 중국 기업과 글로벌 AI 거대 기업 간의 경쟁을 넘어, 중국의 숏폼 영상 생태계와 데이터 우위를 바탕으로 전 세계 콘텐츠 생산 구조가 체계적으로 재편되고 있음을 의미한다”고 평가하기도 했다.
 

"목소리도 똑같이 재현?" 틱톡 데이터 무단 학습 의혹

다만 데이터 활용을 둘러싼 지적재산권 논란도 제기된다. 실제 인플루언서 팀은 “내 얼굴 사진만 업로드했는데 실제 목소리와 거의 동일한 음성이 생성됐다”며 자신이 그동안 제작한 콘텐츠가 학습 데이터로 활용됐을 가능성을 의심했다.

게임사이언스의 창업자 펑지도 "진짜 같은 가짜 영상을 쉽게 만들 수 있게 되면서 기존의 지적 재산권 및 검열 시스템이 전례 없는 도전에 직면할 것"이라고 우려했다. 

특히 바이트댄스가 전 세계적으로 20억명에 육박하는 이용자를 보유한 틱톡의 모기업인 만큼, 데이터 무단 학습 의혹으로부터 자유롭기는 어렵다는 지적이 나온다. 논란이 확산되자 시댄스 2.0은 실제 인물의 이미지나 영상을 참조하는 것을 현재 중단한 상태다

한편 새해 들어 중국에서는 시댄스를 비롯해 다양한 AI 모델의 업그레이드 버전이 잇따라 공개되고 있다. 알리바바는 차세대 이미지 생성 모델 ‘첸원 이미지 2.0’을 공개하며 구글 제미나이3, 오픈AI GPT 이미지 1.5에 필적하는 성능이라고 밝혔다. 콰이서우도 글로벌 평가에서 1위를 기록한 영상 AI ‘클링’을 최근 3.0 버전으로 업그레이드해 오디오·비디오 동시 생성과 스토리보드 기반 연출, 멀티샷 기능을 강화했다고 밝혔다.

중국발 AI 혁신은 기술 경쟁을 넘어 자본시장도 뒤흔들고 있다. 최근 홍콩 증시에서도 AI 테마주가 강세를 보이고 있는 것. 특히 올해 초 상장한 중국 AI 기업 즈푸의 주가는 최근 5거래일간 50% 넘게 급등하며 사상 최고치를 경신했다.