"중국보다 더 강력한 적은 AI"…美 뉴욕시, 사상 첫 AI 규제 입법 청문회

'AI 멸종론' AI 전현직 연구원 '섬뜩한 경고'

오픈AI·앤트로픽·구글·메타 관계자도 참석

스페이스XAI 청문회 불참에 법적 대응도

킬스위치 등 뉴욕시 10개 AI 입법 추진

줄리 메닌 뉴욕시의회 의장(가운데)이 5일(현지시간) 뉴욕에서 열린 AI 관련 청문회에서 전직 오픈AI·앤트로픽 연구자 제이컵 콕슨의 증언에 앞서 발언하고 있다. 콕슨은 AI 연구소들이 “우리의 목숨을 걸고 도박하고 있다”고 경고했다. [사진=AFP연합뉴스]

 “중국만이 우리의 잠재적 적은 아니다. 잘못된 방향으로 나아가는 인공지능(AI)은 우리를 포함한 모두의 적이며, 언젠가 중국보다 더 강력해질 수 있다.” <전 구글 딥마인드 연구원 알렉스 터너>

"이대로라면 인류가 AI에 대한 통제력을 잃을 가능성이 더 크다. AI의 위험이 막대한데도 관련 기업들이 매우 무모하게 행동하고 있다."  <전 앤트로픽 연구원 제이컵 콕슨>

"미국에서 독재자가 되는 데 AI를 악용할 가능성도 현실적으로 존재한다." <전 오픈AI 연구원 대니얼 코크타일로>

미국 뉴욕시의회가 5일(현지시간) 개최한 AI 위험 관련 청문회에서 전직 연구자들은 AI가 인간의 통제를 벗어날 수 있다고 경고음을 쏟아냈다. 

 

"인간 통제 벗어나 인류 멸망할수도" AI 연구자들 '섬뜩한 경고'

미국 CBS 등 보도에 따르면 앞서 'AI 인류 멸망론'에 불을 지핀 전직 앤트로픽 연구자 제이컵 콕슨은 이날 현재와 같은 개발 속도가 이어질 경우 AI가 인간의 통제를 벗어나 인류가 멸종할 가능성이 있다고 경고했다. 

그는 AI가 인간의 연구·개발 작업을 상당 부분 수행하면서 스스로 성능을 높이는 단계로 빠르게 접근하고 있다고 주장했다. 또 AI 기업들이 ‘빠르게 움직이고, 문제를 일으키면 나중에 고친다’는 스타트업식 문화를 갖고 있다고 지적했다.

전직 오픈AI 연구원인 대니얼 코크타일로는 “기업들이 통제력을 유지한다고 하더라도 그 통제권을 기업에 맡겨서는 안 된다”며 “미국에서 독재자가 되는 데 이를 이용할 가능성도 현실적으로 존재한다”고 경고했다.

이날 청문회는 뉴욕시의회가 AI 규제 법안을 검토하고 주요 AI 기업과 전직 연구자들을 불러 AI의 안전성과 위험성을 따지는 자리였다. 뉴욕시는 이번 청문회가 미국은 물론 전 세계에서 이 같은 AI 감독 청문회를 개최한 첫 사례라고 밝혔다.

청문회에는 주요 AI 기업인 앤트로픽·오픈AI·구글·메타 정책·안전 담당 관계자들도 화상으로 참석했다.  앤트로픽의 프런티어 레드팀 책임자 로건 그레이엄, 오픈AI의 정책개발·운영 책임자 모건 드와이어, 구글의 AI·신흥기술 정책 담당 이사 앨리스 프렌드, 메타의 AI 입법정책 담당 이사 셰인 케이힐 등이 화상으로 선서하고 증언했다. 주요 AI 기업들이 입법기관에 출석해 AI 위험성과 규제 방안을 놓고 선서 증언한 것은 이번이 처음이다.

다만 일론 머스크가 이끄는 스페이스XAI는 청문회 소환장에 응하지 않았다. 뉴욕시는 소환장에 계속 불응할 경우 뉴욕주 대법원에 이행을 강제해 달라고 요청할 계획이다.
 

자율규제는 소극적 접근...뉴욕시 10개 AI 규제 입법 추진

줄리 메닌 뉴욕시의회 의장은 연방정부가 AI 기업의 자율규제에 의존하고 있다며 뉴욕시가 자체적으로 대응해야 한다고 청문회 개최 배경을 설명했다. 그는 도널드 트럼프 대통령이 지난주 워싱턴에서 AI기업 수장들과 자발적 협약을 체결한 것에 대해 연방 정부가 소극적인 접근 방식을 취하고 있다고 지적했다. 

메닌 의장은 그러면서 AI로 인해 발생하는 피해에 대한 기업들의 입장과 함께 뉴욕시가 현재 추진 중인 입법안에 대한 의견을 묻겠다고 밝혔다. 

실제 뉴욕시의회는 최근 AI 규제를 위한 10개 법안을 검토 중이다. 여기엔 ▲공직자 AI 이미지·영상의 무단 생성·사용 제한 ▲AI 모델에 대한 제3자 검증 의무화 ▲인간이 AI 모델을 강제 종료할 수 있는 기술적 기능(킬 스위치) 의무화 ▲AI 챗봇의 개인정보 보호 ▲AI 관련 내부고발자에 대한 보상 제도 ▲AI 에이전트로 피해를 본 시민이 직접 기업을 상대로 소송을 제기할 수 있도록 하는 사적 소송권 등의 방안이 포함됐다. 

보도에 따르면 메닌 의장은 AI 기업 관계자들에게 “위험이 어느 정도인지 수치로 제시할 수 있느냐”, "최첨단 AI 모델이 통제를 벗어나 심각한 재정적 피해를 입히거나 민감한 데이터를 유출하고, 신체적 피해를 일으키거나 사망에 이르게 한다면 각 기업이 법적 책임을 져야 한다고 생각하느냐" 등의 날카로운 질문을 쏟아내 긴장감을 자아냈다. 

이에 관계자들은 "위험을 수치화하는 문제에 대해 부정확하게 답하고 싶지 않다”며 “현재 관련 체계를 갖고 있지 않다”, "안전에 대한 책임을 매우 중요하게 여기고 있다"며 원론적인 답변을 내놓기도 했다. 

이번 청문회는 AI 안전에 대한 우려가 커지는 가운데 열린 것이다. 최근 오픈AI와 구글 딥마인드의 전·현직 연구원들도 AI가 인간의 통제를 벗어나 스스로 성능을 반복적으로 높이는 '재귀적 자기개선(RSI)'이 지나치게 빠르게 추진되고 있다고 경고했다.

미 연방거래위원회(FTC)도 별도로 오픈AI와 앤트로픽을 비롯한 AI 기업들의 제품이 소비자에게 미칠 수 있는 위험을 조사하고 있다고 밝힌 바 있다.