앤트로픽, IPO 앞두고 AI 위험 경고…투자설명서 1/3 할애

"AI가 인류에 재앙적·실존적 위험 초래" 경고

위험 요인만 80쪽…사업설명보다 훨씬 많아

안전 투자 수익 불확실…최첨단 AI 경쟁도 계속

앤트로픽[사진=로이터 연합뉴스]

미국 인공지능(AI)기업 앤트로픽이 기업공개(IPO)를 앞두고 첨단 AI가 "인류에 재앙적 또는 실존적 위험을 초래할 수 있다"고 경고했다. AI 기술로 수익을 창출하려는 기업이 투자자들에게 자사 기술이 인류의 존립 자체를 위협할 가능성까지 공식적으로 명시한 것은 이례적이다.

28일(현지시각) 로이터에 따르면 앤트로픽은 IPO 투자설명서에서 "AI 모델·플랫폼·애플리케이션이 고도화되고 활용 범위가 확대될수록, 당사 모델이 피해를 초래할 위험도 커질 수 있다"고 밝혔다.

구체적으로 AI 모델이 '자기보존적 행동'을 보일 수 있다고 밝히며 작동 중단에 저항하거나 정보를 은폐·조작하고, 협박과 유사한 행동을 보일 가능성까지 위험 요인으로 제시했다.

기업들이 IPO 과정에서 제품과 사업의 위험 요인을 공개하는 것은 일반적이다. 하지만 로이터는 자사 기술이 인류의 존립 자체를 위협할 가능성까지 경고하는 사례는 극히 드물다고 짚었다. 앤트로픽은 AI가 산업화나 전기의 발명에 버금가는 변화를 가져올 수 있는 동시에, 잘못 관리될 경우 돌이킬 수 없는 피해를 초래할 수 있다고 강조했다.

앤트로픽은 최근 AI 기술의 급격한 발전이 우려된다며 안전성 확보를 위해 AI 개발 속도를 늦춰야 한다고 주장해 온 기업이다. 다리오 아모데이 최고경영자(CEO)가 지난 12일 직접 블로그에 장문의 글을 올려 AI 업계 전체가 첨단 모델 개발 속도를 늦추는 데 동참해야 한다고 촉구했을 정도다.

실제로 이번 IPO 투자설명서 261페이지 가운데 약 80페이지를 위험 요인을 설명하는데 할애했을 정도다. 반면 사업 내용에 대한 설명은 48페이지에 그쳤다.

일론 머스크가 이끄는 AI 기업 xAI는 IPO 투자설명서 277페이지 가운데 위험 요인에 할애한 분량이 약 38페이지였다.

앤트로픽은 안전성 확보 작업에 상당한 자원이 필요하다고 밝혔다. 제한된 자금을 컴퓨팅 자원과 고급 AI 인력, 안전성 연구 등에 나눠 투자해야 한다는 설명이다. 다만 안전성 연구에 대한 투자가 어떤 수익으로 이어질지는 불확실하다고 밝혔다.

투자설명서에서 안전성 연구 비용은 공개하지 않았다. 다만 최근 앤트로픽은 지난 7월 특정 주간 기준으로 AI 연구에 사용한 컴퓨팅 자원의 약 6%가 안전성 연구에 투입됐다고 밝힌 바 있다.

문제는 AI 안전성을 강조하면서도 최첨단 AI 개발 경쟁에서 속도를 늦추기 어렵다는 점이다. 앤트로픽은 투자설명서에서 고객 이용과 매출이 새로운 AI 모델 출시에 좌우된다며, AI 기술의 최전선에 남기 위해서는 모델을 지속적으로 출시해야 한다고 밝혔다.

실제로 앤트로픽은 지난주 새로운 오푸스(Opus) 모델을 출시했다. 이는 아모데이 CEO가 AI 개발 속도를 조절할 필요성을 주장하는 글을 공개한 지 불과 열흘 만이었다.

한편 앤트로픽는 당초 10월 IPO에 나설 것으로 예상됐지만, 최근 목표 시점을 11월로 늦춘 것으로 알려졌다. IPO를 앞두고 3분기 양호한 실적을 제시할 수 있고 AI 안전성을 둘러싼 회사의 입장을 정리할 시간을 확보하려는 것이란 해석이 나왔다.