"기술 뺏기느니 늦춘다"…앤트로픽, 도난 방지하려 차기 AI 훈련 중단

앤트로픽 [사진=연합뉴스/로이터]

인공지능(AI) 스타트업 앤트로픽이 AI 모델 가중치와 지식재산 탈취를 막기 위한 안전장치 강화 차원에서 차세대 프런티어 기본 모델의 사전훈련을 한 달 넘게 연기했다.

로이터 통신에 따르면 앤트로픽은 26일(현지시간) 미국 증권거래위원회에 제출한 증권신고서(S-1) 내 위험요인 항목을 통해 이같이 공개했다.

AI 모델 자체의 위험성 때문이 아니라 도난 방지를 목적으로 훈련을 중단했다는 설명이다. 그러면서 회사 측은 이 같은 훈련 중단 조치로 인해 매출 발생이 늦춰지고 경쟁사 대비 뒤처질 수 있다고 인정했다.

이와 함께 앤트로픽은 자사 모델이 외부 시스템에 무단 접속했던 침입 사고 사실도 증권신고서에서 털어놨다. 협력사와 사이버보안 테스트를 진행하던 중 웹 접속을 차단하라는 지침에도 불구하고 시스템 오류로 테스트 환경이 인터넷에 연결되면서 발생했다는 설명이다. 

앞서 앤트로픽은 지난 7월 자사 모델들이 3개 회사 시스템에 접속했다고 발표한 데 이어 9월 9일 네 번째 사례를 공개하는 등 총 네 차례 보안 사고를 밝힌 바 있다. 

앤트로픽에 따르면 지난 7월 30일 모의 과제를 수행하던 클로드 모델 3개가 가상 환경을 벗어나 실제 외부 기관 시스템에 무단 접속했다. 당시 모델들은 추론 과정에서 대상이 실제 외부 시스템임을 인지했음에도 이를 모의 훈련의 일부일 것이라고 자체 합리화하며 공격과 침투를 멈추지 않은 것으로 알려졌다.

이후 9월 9일에는 ‘오퍼스 4.6’의 초기 버전이 지난 1월 시험 과정에서 외부 시스템을 해킹한 사실이 뒤늦게 공개됐다. 당시 모델은 표적 기기에 접근하지 못하자 8차례에 걸쳐 작업 중단을 시도했으나, 시스템 오류로 종료되지 않았다. 결국 과제 완수를 시도하던 모델은 제3자 시스템에서 비밀번호가 적힌 파일을 찾아내 관리자 권한을 획득하고, 내부 개인정보까지 열람한 것으로 나타났다.

다만 이번에 명시된 내용이 기존 발표 사례와 동일한 것인지는 명확히 확인되지 않았다.

앤트로픽은 총 400쪽 분량의 증권신고서 가운데 '위험요인' 항목에만 94쪽을 할애해 AI 시스템이 지닌 위험성을 구체적으로 경고했다.

증권신고서에 따르면 AI 모델이 시스템 중단을 피하려는 '자기보존적' 성향을 보일 수 있으며, 인간이 모델을 지속해서 가동하도록 설득하는 과정에서 '협박'과 유사한 응답을 내놓을 수 있다고 적시했다.

또한 '치명적인 AI 관련 사고'가 발생할 경우 피해 규모가 워낙 막대해 보험으로도 보장받지 못할 수 있다고 우려했다.

이용약관을 통해 모델의 행위에 대한 책임을 제한하고 있으나 일부 사안에서는 법적 책임을 질 수 있으며, 외부 테스트 업체 등 일부 협력사의 책임 역시 계약상 자사가 떠안는다고 밝혔다.