'토큰 최적화'로 B2B 시장 노린다…LGU+ "이론적 효율 넘어 실전 검증 마쳐"

AI 토큰 최적화 기자 스터디 개최…'토큰 사업' 고도화 계획

모델 라우팅부터 칩 믹스까지 전 과정서 '총비용' 혁신 나서

대규모 트래픽 운영 경험 밑바탕…익시오·모두의 AI 사업

LG유플러스는 12일 기자들을 대상으로 'AI 토큰 최적화 스터디'를 개최하고, 실제 상용 환경에서 입증한 AI 비용 절감 핵심 기술과 연구 성과, 향후 사업 추진 방향을 공개했다. 사진은 이상엽 LG유플러스 CTO(전무)가 스터디 현장에서 발표하는 모습. [사진=LG유플러스]

LG유플러스가 인공지능(AI) 토큰 최적화 전략을 바탕으로 내년 AI 기업간거래(B2B) 시장에 나선다. AI 에이전트 성능은 높이면서 토큰 비용을 낮추는 완성형 기술을 통해 시장을 선점하겠다는 구상이다. 

이상엽 LG유플러스 최고기술책임자(CTO)는 지난 12일 'AI 토큰 최적화 스터디'에서 이같은 구상을 밝히며 "LG유플러스는 이론적 효율화를 넘어 수많은 실전 서비스에서 검증을 끝냈다"고 밝혔다. LG유플러스는 협력사와의 제휴형 모델 및 자체 인프라 구축 방식을 통해 내년부터 토큰 사업을 전개한다는 방침이다. 

사용자가 질문하고 응답을 전달 받는 과정 사이에서 토큰 원가를 최적화하기 위해 지속적으로 노력하고 있다고 강조했다.

이날 토큰 최적화 연구 성과를 발표한 권기덕 인공지능 전환(AX) 엔지니어링랩장(담당)은 "하네스 엔지니어링 과정에서 질문 유형을 패턴화해 탐색·평가 반복을 줄이면 85~90% 이상 효율화할 수 있다"고 설명했다. 

모델 라우팅 단계에선 일반적인 질문 처리 비용을 25%, 코딩 에이전트는 30% 이상 절감했다고 덧붙였다. AI 에이전트가 업무를 수행하는 과정에서 불필요한 검색, 검증을 반복하지 않도록 하는 기술도 개발 중이다. 

LG유플러스는 AI 모델을 가볍게 만들고 답변 생성 속도도 높이고 있다. 자체 온디바이스 AI 모델의 크기를 기존 2.4~3기가바이트(GB)에서 약 3분의 1 수준인 800메가바이트(MB)로 줄였다. 권 담당은 "다른 빅테크 클라우드 대비 성능도 95% 끌어올리고 토큰 생산량은 경쟁사 대비 월등히 높다"고 분석했다. 

또 작은 모델이 답변을 빠르게 생성하고 큰 모델이 검증하는 기술을 고도화했다. 이같은 연구 성과로 AI 학술대회인 '뉴립스(NeurlPS)'에 논문 2편이 동시 채택됐다는 점도 언급했다. 

인프라 단계에서는 칩 믹스(Chip-Mix) 전략을 추구하고 있다. 엔비디아와 AMD의 그래픽처리장치(GPU)는 물론 국산 AI 반도체 기업인 퓨리오사AI와 2년 이상 협력하며 신경망처리장치(NPU)를 검증 중이다.

이 CTO는 "메모리가 크고 연산이 필요한 작업과 메모리 대역폭이 중요한 작업을 쪼개 가성비가 높은 반도체에 분산 처리하며 효율을 추구할 예정"이라고 밝혔다.

LG유플러스는 토큰 최적화를 이뤄낼 수 있었던 배경으로 대규모 트래픽 운영한 경험을 뽑았다. 대표적으로 AI 통화 에이전트 '익시오(ixi-O)'가 있다.

익시오 출시 초기 LG AI 연구원의 온디바이스 모델과 구글 제미나이를 병행해 활용했지만, 실전 튜닝을 거쳐 자체 AI 모델과 엑사원(EXAONE)의 비중을 조합해 서비스 품질과 비용 효율을 높였다. 

사내 AX에도 토큰 최적화 기술을 활용하고 있다. 개발자들이 사용하는 AI 코딩 도구 자체에 자체 AI 모델을 활용해 기존 업무 환경을 유지하면서도 AI 이용 비용을 줄이는 방식이다.

카카오와 함께하는 '모두의 AI'에서도 AI 모델 운영을 전담하고 있다. 이 CTO는 "프론트 분야는 카카오가 하지만 모델 영역은 저희가 진행하고, 다양한 레시피와 최적화 방법들이 연구돼 다양한 토큰 팩토리 서비스 기술로 발전할 것"이라고 말했다.