[AI업계 11월 동향] ① "AI 전쟁 시작됐다"... 스탠퍼드大 딥페이크 감지 AI 개발

[사진=게티이미지뱅크 제공]

 

미국 스탠퍼드대 HAI(Human-Centered AI) 연구소가 인공지능(AI)이 만들어낸 위조 영상 딥페이크(DeepFake)를 감지하는 AI 모델을 개발했다.

22일 AI 업계에 따르면, 스탠퍼드대 연구팀은 UC버클리대와 공동 연구를 통해 영상 속에서 인물의 립싱크(Lip Sync) 여부를 감지하는 AI를 발표했다.

이른바 딥페이크라고 불리는 조작 영상은 인물 표정, 대사, 입술의 움직임을 합성해 상당히 정교하게 표현하는 수준까지 도달했다. 기존 안면교체 기술은 컴퓨터가 감지할 수 있는 일부 작위적인 시각적 오류를 남기지만, AI의 학습 성능 향상에 힘입어 점차 감지가 어려워지는 상황이다.

스탠퍼드대가 개발한 AI는 영상 속 인물의 말하는 입 모양과 음성 소리 간의 미세한 불일치를 인식해 81% 이상의 정확도로 조작된 영상을 판별한다. 가짜를 발견하기 위해 영상에서 입술 영역을 추출하고 입의 모양과 소리의 음소 간 정합 여부를 학습해 영상에서 이상한 부분을 찾아낸다.

구체적으로 AI는 특정 음소를 발음하기 위해 입술을 열거나 닫는 시기, 발음 시 입술 주변 피부 톤의 변화, 치아와 입안의 밝기 변화 등 인간은 인식하기 힘든 딥페이크 영상의 미세한 오류를 찾아낸다. 특히 B, M, P 등 입술을 닫지 않으면 소리를 내는 것이 불가능한 순음(脣音)에 해당하는 부분을 가려내는 것에 집중한다.

스탠퍼드대는 딥페이크 감지 AI를 개발하기 위해 주로 영상분석에 활용하는 다층 신경망인 합성곱 신경망(CNN)을 활용해 AI 모델을 훈련했다. 오바마 대통령의 딥페이크 비디오 영상에서 입이 열려있거나 닫혀있는 장면의 비디오 프레임 600여개를 활용해 5만회 반복 훈련을 했다. 정확도 향상을 위해 우선 영상과 오디오의 기본 싱크가 맞는지부터 10초 단위의 무작위 지점에 대한 검사까지 다양한 확인 과정을 거쳤다.

마네쉬 애그러월라 스탠퍼드대 HAI 연구소 연구책임자는 "고양이와 쥐의 게임은 시작되었다. AI의 악용이 고도화됨에 따라 이를 막기 위한 AI도 필연적으로 발전할 수밖에 없다"고 말했다.

소프트웨어정책연구소 관계자는 "이번 스탠퍼드대 딥페이크 감지 AI는 AI를 이용해 AI 악용에 대응하는 사례로서 AI의 부작용에 대한 우려와 윤리 문제가 제기될수록 활용도가 높을 것으로 기대된다"며 "AI를 활용한 비디오 수정은 녹화 영상의 교정, 시청자 맞춤형 영상조정 등 긍정적인 목적으로 시작됐으나, 최근 악의적인 영상 조작과 같은 부작용으로 인해 대책 마련이 시급하다"고 전했다.