프런티어 AI 쏟아지는데…H200 16장으로 버티는 韓 안전성 평가

평가 1개당 7~10일…토큰 비용 5000~6000만원 달해

H200 16장 한계…제대로 평가하려면 GPU·프레임워크 필요

다리오 아모데이 앤트로픽 CEO [사진=연합뉴스, AFP, 게티이미지뱅크]

미국 주요 빅테크 최고경영자(CEO)들이 연일 인공지능(AI)의 위험성에 대해 경고하며 프런티어 모델들의 안전검증 시험에 대한 요구가 커지고 있다. 국내에서는 AI안전연구소가 이를 담당하고 있지만 턱없이 부족한 인프라로 모델 개발 속도를 따라가지 못하고 있는 것으로 나타났다. 

16일 AI안전연구소에 따르면 연구소는 국내에 도입되는 AI 모델의 안전성 평가에 엔비디아 그래픽처리장치 H200 16장을 사용하고 있다.

최신 AI모델은 약 900~1500개의 복합 과제를 부과한 뒤 처리된 결과를 놓고 안전성을 검증한다. 연구소가 보유한 H200 16장으로는 1개 모델을 평가하는 데 7~10일 걸린다. 벤치마크를 한 차례 구동하는 데 드는 토큰 비용도 5000만~6000만원에 달한다. 

AI안전연구소가 지난 3월 평가한 모델은 클로드 등 6개였지만 지난달에는 11개로 늘었다. 매월 10개 이상 프런티어 모델이 쏟아지는 속도를 따라갈 수 없다. 

김명주 AI안전연구소장(서울여대 정보보호학과 교수)는 "평가 수요가 몰린 상황"이라며 "부족할 때는 상용 클라우드 세션을 임차해 연산 자원을 추가로 확보해서 사용하고 있다"고 설명했다. 

인프라가 부족하다 보니 보안과 안전에 민감한 모델을 우선 평가하고 있다. 평가가 뒤로 밀려 미처 안전 검증을 못한 AI 모델들이 국내 시장에서 사용되는 사례도 늘고 있다. 

현재 우선 평가 대상으로 삼은 모델은 중국 즈푸AI가 개발한 프런티어급 모델 'GLM 5.3'이다. 최근 안전장치를 제거한 GLM 5.3 변형 모델이 인터넷상에 유통되면서 실제 악용 가능성을 먼저 확인할 필요가 있다고 판단했다. 

안전장치가 제거된 모델은 정상적인 AI라면 답변을 거부해야 할 소프트웨어 취약점이나 공격 코드를 생성할 수 있다. 사이버 공격뿐 아니라 화학·생물학 분야의 위험한 정보까지 제공할 가능성이 있어 연구소는 어느 수준까지 위험한 요청에 응답하는지 살펴보고 있다.

안전연구소는 오픈AI가 최근 공개한 프런티어 모델 '아스트라'에 대한 평가에도 착수했다. 김 소장은 "여러 모델의 평가가 동시에 진행되고 있어 결과가 나오기까지 시간이 걸릴 전망"이라고 언급했다.

전문가들은 H200 16장만으로 아스트라급 프런티어 모델의 안전성을 종합적으로 평가하는 데 한계가 있다고 지적한다. 단순한 문답 평가를 넘어 모델을 공격하는 레드티밍과 실시간 모니터링을 진행하려면 평가 대상과 비슷한 수준의 모델과 연산 자원이 필요하다는 이유에서다. 

최병호 고려대 AI연구소 연구교수는 "안전성 연구에도 모델 성능을 높이는 연구만큼 많은 자원이 필요하다"며 "GPU뿐 아니라 이를 구동할 전력과 공간, 평가 프레임워크를 함께 갖춰야 한다"고 말했다. 이어 "하나의 모델만으로 평가하기 어려운 만큼 API와 오픈소스 모델 등 가용한 자원을 함께 활용하는 멀티모델 평가도 필요하다"고 덧붙였다.

한편 AI 개발 속도와 안전성을 둘러싼 논쟁은 글로벌 AI 업계에서도 이어지고 있다. 외신에 따르면 트럼프 행정부 고위 관계자들은 지난 15일(현지시간) 앤트로픽 고위 임원과 만나 AI 안전 문제를 논의했다.

다리오 아모데이 앤트로픽 최고경영자(CEO)는 AI 개발 속도를 늦춰 안전장치를 보완할 시간을 확보해야 한다고 주장한 반면 도널드 트럼프 미국 대통령은 중국과의 AI 경쟁을 이유로 속도 조절론에 반대하고 있다.