500개 AI 모델 한 번에 관리한다…KT, '토큰팩토리' 선봬

27일 서울 종로구 광화문 웨스트 빌딩서 기자간담회 열어

서비스 오는 30일 출시…B2B 수요 공략 후 B2C로 확장

[사진=KT]

KT가 국내외 인공지능(AI) 모델 500곳 이상을 한 곳에서 이용하고 사용량과 비용까지 관리할 수 있는 '토큰팩토리'를 선보인다. 통신사업에서 쌓은 연결·과금·보안 역량을 AI 서비스에 적용해 인공지능 전환(AX) 수요를 공략한다는 구상이다.

KT는 27일 서울 종로구 광화문 웨스트(West) 빌딩에서 AI 모델 선택, 비용, AI 신뢰·안전 기능을 한 번에 제공하는 AI 플랫폼 'KT 토큰팩토리(토큰팩토리)'를 공개했다. 서비스는 오는 30일 출시 예정이다. 초기에는 여러 AI 모델을 활용하면서 비용을 효율적으로 관리하는 기업 고객을 대상으로 서비스를 제공하고, 향후 개인 고객으로 시장을 넓힐 계획이다.

KT에 따르면 토큰팩토리는 AI 모델 선택부터 가입, 사용량 확인, 비용 관리, 결제까지 한 곳에서 처리하는 플랫폼이다. 기업이 업무 목적, 요구 품질, 비용, 보안 수준에 맞춰 모델을 골라 쓸 수 있도록 했다. 기업의 직원들이 여러 모델을 각각 도입하고 이용 환경을 따로 관리해야 하는 부담을 줄이는 데 초점을 맞췄다.

핵심 기능은 AI 모델 자동 선택과 비용 절감이다. 자체 개발한 '오토 모델 라우터'는 질문 유형과 난이도, 요구 품질, 비용 등을 종합해 적합한 모델을 선택한다. 단순 업무에는 가벼운 모델을, 복잡한 분석에는 고성능 모델을 적용하는 방식이다. KT는 이 기술이 글로벌 벤치마크인 '라우터아레나(RouterArena)'에서 종합 1위를 기록했다고 밝혔다.

질문을 입력할 때 쓰는 토큰을 줄이는 프롬프트 압축 기술도 적용했다. 한국어 특성을 반영하고 불필요한 반복 표현을 덜어내 질문 의미와 응답 품질을 유사하게 유지하면서 처리량을 줄이는 기술이다. KT 측은 "토큰 사용량을 최대 25% 절감할 수 있을 것"이라고 설명했다.

데이터 보안은 국내 인프라를 활용한 추론 서비스로 보장한다. KT 데이터센터에 자체 AI 모델과 국내외 오픈웨이트 모델 등으로 추론을 지원해 해외 AI 서비스에 따른 데이터 주권 우려를 줄이겠다는 구상이다.

AI 입력과 출력 내용을 점검하는 가드레일 기술도 적용했다. 고객이 입력한 질문에 개인정보·민감정보나 유해 표현이 포함됐는지 확인하고, AI가 생성한 답변도 점검한다. 향후 고객별 업무 환경과 보안 요구에 맞춰 탐지 대상과 차단 수준을 세밀하게 설정할 수 있도록 기능을 확대할 방침이다.

모델 확보에는 글로벌 AI 모델 중개 플랫폼 '오픈라우터'와 함께한다. 이를 통해 글로벌 AI 모델 500개 이상을 확보했다. 양사는 오픈라우터 글로벌 모델과 KT 국내 인프라, 소버린 AI 모델을 연계할 계획이다. KT가 국내에서 제공하는 AI 모델을 해외에 유통하는 방안도 추진한다.

협력사도 확대한다. 유라클, 캐스트(CAST) AI, 타입리 등 국내외 전문기업은 물론 업스테이지, 다음 등 '모두의 AI' 컨소시엄 참여사들과 협력을 강화해 파트너 생태계를 구축하겠다는 방침이다.

박상원 KT AX사업부문장(전무)는 "AI 시장은 현재 누가 더 AI를 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 확산하고 있다"며 "KT는 통신사업에서 축적한 연결·과금·보호 역량을 AI 서비스로 확장한 토큰 팩토리를 기반으로 고객 AX 전환을 지원하고 핵심 플랫폼으로 발전시켜 나갈 것"이라고 했다.