모티프 "독파모 2차 평가 이의제기…세부 결과 공개해달라"

신청 결과 상관 없이 3차 평가는 불참

류제명 과학기술정보통신부 2차관이 지난 18일 서울 종로구 정부서울청사에서 독자 AI파운데이션모델 프로젝트 2차 단계평가 결과 브리핑을 하고 있다.  [사진=연합뉴스]

모티프테크놀로지스(모티프)가 과학기술정보통신부(과기정통부)의 독자 인공지능(AI) 파운데이션 모델(독파모) 2차 단계평가 결과에 이의를 제기했다. 당초 이의제기를 하지 않겠다는 입장을 뒤집고 평가 항목별 세부 점수와 판단 근거를 공개해달라고 요구했다. 아울러 이의제기 결과와 상관없이 모티프는 3차 단계평가에 참여하지 않겠다는 입장도 내놨다. 

27일 임성환 모티프 대표는 입장문을 통해 "모티프3가 높은 점수를 받은 AAII는 단순한 벤치마크가 아니라 글로벌 AI 업계에서 폭넓게 활용되는 9개 벤치마크를 종합한 지표"라며 "AAII 점수가 47점과 31점으로 상당한 차이를 보였음에도 벤치마크 환산 점수와 전문가 평가에서 상반된 결과가 나온 이유를 기업과 업계가 이해할 수 있도록 설명할 필요가 있다"고 했다. 

앞서 모티프는 2차 단계평가 결과를 수용하고 이의제기를 신청하지 않겠다는 입장을 내놨다. 그러나 이후 과기정통부의 설명이 모티프3가 벤치마크 점수만 높고 전문가·사용자 평가에는 문제가 있었던 것으로 비칠 수 있다고 판단해 입장을 바꿨다. 임 대표는 "우리가 추구한 기술적 방향성과 결과물에 오해가 생길 수 있다고 판단해 평가 점수의 상세 공개와 재심의를 요청한다"고 설명했다.

모티프는 우선 평가 결과와 세부 평가 내용을 참여 기업이 확인할 수 있도록 공개해달라고 요구했다. 임 대표는 "선정·탈락 기업이 향후 더 나은 모델과 전략을 준비할 수 있도록 실질적인 피드백과 방향을 제공한다는 측면에서 중요하다"고 말했다.

벤치마크 점수의 배점·환산 방식에 대한 근거도 요청했다. 모티프에 따르면 독파모 참여 모델 중 AAII 1위 모델은 47점, 4위 모델은 31점을 기록했지만 평가 배점으로 환산하면 격차가 4점으로 줄어든다. 임 대표는 "이 같은 배점 산정 방식이 벤치마크에서 나타난 모델 간 성능 차이를 충분히 반영하지 못했을 수 있다"고 지적했다.

전문가 평가의 세부 기준과 결과도 공개해달라고 요구했다. 임 대표는 "각 모델의 테크니컬 리포트를 고려하더라도 벤치마크 성능이 낮은 모델이 전문가 평가에서 1위를 차지한 구체적인 판단 근거를 이해하기 어렵다"고 밝혔다. 이어 "전문가 평가 과정에서 ‘컨소시엄 주관·참여기업 가운데 외국계 자본이나 해외 법인이 의결권을 보유한 주요 주주로 참여한 기업이 있는지’ 등 평가 목적을 이해하기 어려운 질문을 서면으로 받았다"며 "이러한 질문이 어떤 평가 목적과 기준에 따라 활용됐는지도 설명이 필요하다"고 덧붙였다.

사용자 평가의 방법론과 세부 기준, 결과도 공개해달라고 요청했다. 모티프는 평가 당시 개발사를 공개하지 않는 블라인드 방식을 제안한 바 있다. 대기업과 스타트업이 개발한 모델을 일반 사용자가 평가할 때 개발사를 미리 알면 브랜드 인지도나 선입견이 평가에 영향을 줄 수 있다는 이유에서다.

다만 모티프는 이의제기 결과와 관계없이 독파모 3차 단계에는 참여하지 않겠다는 입장이다. 임 대표는 "2차 단계평가를 통해 기술력을 시험할 기회를 준 정부에 감사드린다"며 "앞으로는 스스로의 힘으로 한국에서 가장 우수한 프런티어 모델을 만들겠다"고 강조했다.