AI 모델 넘어 효율화 경쟁…통신 3사, '토큰 시장' 공략 나선다

LG유플러스, 토큰 최적화 레시피로 내년 B2B 시장 공략

토큰팩토리 내세운 KT·토큰 게이트웨이 SKT…경쟁 본격화

통신 3사의 토큰 전략[사진=아주경제]

이동통신 3사(SK텔레콤·KT·LG유플러스)가 인공지능(AI) 연산의 핵심인 토큰에 주목하고 있다. 통신사업에서 확보한 연결·관리 역량을 결집해 AI 시대에 새 수익원 확보에 나서고 있다. 

LG유플러스는 지난 12일 'AI 토큰 최적화 레시피' 관련 스터디를 진행하며 내년 AI 토큰 사업에 진출한다고 밝혔다. LG유플러스는 내년 협력사 제휴와 자체 인프라 구축 방식으로 시장을 공략한다. 

토큰은 AI 모델에 질문하고 답변을 찾는 과정에서 소비되는 데이터의 기본 단위다. AI 활용 확대 및 추론 모델·AI 에이전트가 증가하면서 토큰 사용량이 급증했고, 기업은 업무 목적에 맞게 적절히 AI를 활용할 수 있는 '효율'을 추구하게 됐다.

통신사들은 사업 최적화 과정에서 쌓은 인프라 역량을 AI 토큰 시장에서 발휘할 수 있다고 강조했다. 이상엽 LG유플러스 최고기술책임자(CTO)는 "통신사는 주파수, 트래픽 분야 등에서 최적화 작업을 수행해 왔다"며 "이같은 경험이 토큰 사업에서도 기여할 것"이라고 말했다.

이 CTO는 "이론적 효율화를 넘어 수많은 실전 서비스에서 토큰 최적화 검증을 끝냈다"며 "토큰의 '총비용'을 줄일 수 있을 것"이라고 강조했다. 

실제 적합한 AI 모델로 연결하는 '모델 라우팅' 단계에서 일반적인 질문 처리 비용을 25%, 코딩 에이전트 비용을 30% 이상 절감했다. 토큰 소모가 가장 심한 코딩 영역에서는 90% 줄였다. AI 모델 경량화도 성공했다. 자체 온디바이스 AI 모델의 크기를 기존 2.4~3기가바이트(GB)에서 3분의 1 수준인 800메가바이트(MB)로 줄였다. 

칩 믹스(Chip-Mix) 전략도 내세웠다. 엔비디아와 AMD의 그래픽처리장치(GPU)는 물론 국산 AI 반도체 기업인 퓨리오사AI와 협력해 신경망처리장치(NPU)를 검증 중이다. 이 CTO는 "많은 연산이 필요한 작업과 대역폭이 중요한 작업을 쪼개 분산 처리해 효율을 높일 예정"이라고 말했다. 

SK텔레콤과 KT 역시 토큰 플랫폼을 선보이며 시장 공략에 나서고 있다. SKT는 토큰 게이트웨이를 제시하고 있다. SKT의 주요 사업인 통신과 AI 서비스, AI 인프라를 유기적으로 연결해 토큰 경제를 선점하겠다는 것이 골자다.

특히 고객의 AI 사용 패턴을 관리하고, 최적의 AI 모델·인프라로 연결해주는 관제 역할에 중점을 두고 있다. AI 수요로 연결할 수 있는 2300만의 고객, 안전한 결제 체계 등 여러 역량을 결집해 하나의 성장 엔진을 만들겠다는 구상도 내세웠다.

KT 역시 최근 '토큰팩토리'를 발표했다. 토큰팩토리는 국내외 AI 모델을 통합·제공하는 방식이다. 가입부터 비용 확인, 비용 관리, 결제까지 한 곳에서 처리해 고객 요구에 맞는 모델을 제공하는 방식이다.

KT가 자체 개발한 AI 모델 라우팅 기술 '오토 모델 라우터'를 적용해 모델을 최적화했고, 프롬프트 압축 기술을 통해 비용 부담과 응답 시간을 낮췄다. KT는 이를 통해 약 25% 절감 효과가 확인됐다고 설명한 바 있다. 지난달 출시 후 70여종의 AI 모델을 제공하고 있는 가운데 향후 500개 이상의 모델로 확대할 예정이다.