KT, AI 모델 라우팅 기술 글로벌 평가 2위…토큰 팩토리 기술 경쟁력 입증

LLM 라우터 전문 공개 벤치마크 ‘RouterArena’ 리더보드에서 KT의 ‘KT-ModelRouter’가 Acc-Cost Arena 기준 2위를 기록한 화면 [사진=KT

KT가 자체 개발한 인공지능(AI) 모델 라우팅 기술 '오토모델라우터(AutoModelRouter)'가 거대언어모델(LLM) 전문 공개 벤치마크인 '라우터아레나(RouterArena)'에서 종합 2위를 기록했다고 27일 밝혔다.

라우터아레나는 미국 라이스대학교 연구진이 개발한 LLM 라우터 평가 플랫폼이다. 약 8400개 질의를 활용해 AI 라우터의 응답 정확도, 비용 효율성, 입력 변화에 대한 견고성 등을 평가한다.

이번에 공개한 '오토모델라우터'는 공개 리더보드에서 'KT-모델라우터(ModelRouter)'라는 이름으로 등재됐다. 정확도와 비용 평가 부문인 'Acc-Cost Arena' 기준 2위에 올랐다.

KT는 이번 오토모델라우터에 기업이 요구하는 목표 품질을 충족하면서도 비용 효율을 높일 수 있도록 설계했다고 설명했다. 예컨대 상대적으로 간단한 번역, 정보 확인에는 필요한 품질을 충족하는 모델을 활용하고 전문적 분석이나 높은 수준의 추론이 필요한 업무에는 고성능 모델을 연결하는 방식이다. 이용자는 하나의 AI 서비스를 이용하지만 실제 시스템에서는 요청 특성에 따라 서로 다른 모델이 활용된다는 이야기다.

이번 오토모델라우터는 KT가 추진하고 있는 '토큰팩토리' 모델 라우팅 기능에도 활용한다. 이를 통해 AI 서비스 품질과 토큰 사용 비용 절감을 최적화한다는 방침이다.

KT는 앞으로 오토모델라우터를 지속 고도화하고 새로운 AI 모델을 유연하게 추가할 수 있는 멀티모델 운영 환경을 구축한다는 계획이다.

김준석 KT 에이전틱AI랩장(상무)는 "AI시대에는 가장 뛰어난 단일 모델 확보뿐 아니라 상황에 맞는 최적의 모델을 지능적으로 활용하는 것이 중요하다"며 "이번 오토모델라우터는 AI 오케스트레이션 역량을 구현한 기술로 향후 KT의 에이전틱 AI 서비스 경쟁력을 뒷받침하는 핵심 기술이 될 것"이라고 말했다.

한편 KT는 오는 10월 베타버전을 공개할 정부의 '모두의AI' 서비스에도 이 같은 모델라우터 방식을 적용한다는 계획이다.