카카오-인공지능안전연구소, AI 안전성 평가체계 구축 MOU

언어모델부터 멀티모달·AI 에이전트까지 단계적으로 안전성 평가 확대

카카오 AI 모델·인프라 제공…인공지능안전연구소 평가·방법론 고도화

AI 안전성 평가도구 공동 개발…모델 위험 선제적 식별·검증 체계 구축 

지난 28일 카카오와 인공지능안전연구소가 AI 안전성 공동 평가 및 평가 체계 구축을 위한 전략적 업무협약(MOU)을 체결했다. (왼쪽부터)김세웅 카카오 AI 시너지 성과리더, 김명주 인공지능안전연구소 소장 [사진=카카오]

카카오가 인공지능안전연구소와 손잡고 안전하고 신뢰할 수 있는 인공지능(AI) 생태계 조성에 나선다.

카카오는 지난 28일 인공지능안전연구소와 AI 안전성 공동 평가 및 평가 체계 구축을 위한 전략적 업무협약(MOU)을 체결했다고 29일 밝혔다.

카카오는 지난해 인공지능안전연구소와 함께 자체 언어모델 '카나나(Kanana)-1.5-9.8B'를 대상으로 공동 안전성 평가를 진행했다. AI 기술이 빠르게 발전하면서 모델의 잠재적 위험을 사전에 식별하고 검증하는 AI 안전성의 중요성이 커지면서다. 카카오는 이를 통해 유사 규모의 해외 모델과 비교해 높은 수준의 안전성을 확인한 바 있다.

양사는 이번 MOU를 통해 협력을 확대하고, AI 모델과 에이전트를 대상으로 객관적이고 체계적인 안전성 평가 기반을 구축해 나갈 계획이다.

협약에 따라 카카오는 AI 안전성 평가 대상이 되는 자사 AI 모델과 AI 에이전트를 제공하고, 평가 수행 및 평가 도구 개발에 필요한 인프라를 지원한다. 인공지능안전연구소는 평가 수행과 방법론 고도화를 담당한다. 양사는 평가 결과를 공동 검토하고 공개 범위를 협의하며 AI 안전성 평가도구 개발에도 협력할 예정이다.

양사의 협력은 총 3단계로 추진된다. 먼저 언어모델을 대상으로 배포 전·후 안전성 평가를 수행하고, 이후 멀티모달 언어모델과 AI 에이전트까지 평가 범위를 확대한다. 마지막으로 AI 모델과 에이전트의 안전성을 보다 효율적으로 검증할 수 있는 평가도구를 공동 개발할 계획이다.

카카오는 이번 협약을 통해 AI 모델의 위험을 선제적으로 식별하고 검증할 수 있는 체계를 구축하는 동시에 AI 안전성 평가 역량을 지속적으로 고도화할 계획이다. 특히 국내 AI 안전성 전문 연구기관과의 협력을 바탕으로 글로벌 수준의 AI 안전성을 확보하고 신뢰할 수 있는 AI 생태계 조성에도 기여한다는 방침이다. 

김세웅 카카오 AI 시너지 성과리더는 "이번 협력을 통해 카카오 AI 모델이 더욱 객관적이고 엄격한 안전성 검증 체계를 갖추게 됐다"며 "앞으로도 기술 혁신과 함께 안전성과 신뢰를 최우선으로 하는 AI 모델과 서비스를 제공하기 위해 지속적으로 노력하겠다"고 말했다.

김명주 인공지능안전연구소 소장은 "AI 기술이 고도화될수록 잠재적 위험을 선제적으로 식별하고 평가하는 체계가 무엇보다 중요하다"며 "카카오와의 협력을 통해 글로벌 표준에 부합하는 AI 안전성 평가 체계를 구축하는 데 최선을 다하겠다"고 말했다.

카카오는 2024년 AI 모델의 개발부터 배포·운영까지 전 과정에서 발생할 수 있는 위험을 관리하는 자체 AI 리스크 관리 체계 ‘카카오 AI 세이프티 이니셔티브(Kakao ASI)’를 마련했다. 이를 기반으로 내부 AI 모델의 위험 요소를 점검하고 안전성 평가 결과도 외부에 공개하고 있다.