"하루 40억 토큰 처리"…리벨리온, SKT AI 서비스에 NPU 확대 적용

에이닷 등 핵심 서비스 4곳에 순차 도입

[사진=리벨리온]

 

리벨리온의 신경망처리장치(NPU)가 SKT 주요 상용 인공지능(AI) 서비스 4곳에 확대 적용됐다. 

21일 리벨리온에 따르면 자사 AI 반도체 '아톰맥스' 기반 인프라가 SKT의 △ 에이닷 통화요약(한 줄 요약 기능) △ 에이닷 음성합성기능(스트리밍 TTS) △ AI 고객센터(AICC 상담 후처리 및 검색) △ 스캠뱅가드(미끼문자 탐지) 등 4개 핵심 기능에 순차 도입됐다.

지난해 12월 '에이닷 통화요약(관계추정 기능)'에 국산 NPU가 처음 상용화된 지 반년여 만의 성과다. 현재 이들 서비스에서 리벨리온 인프라가 처리하는 실시간 AI 트래픽은 하루 약 1400만 건, 토큰 기준으로는 40억 개 이상에 달한다.

SKT는 고난도 실시간 서비스의 안정성을 확보하는 한편 AI 모델 특성에 맞춘 그래픽 처리 장치(GPU) 및 NPU 재배치로 전사 컴퓨팅 자원의 효율성을 끌어올렸다. 특히 수십 대의 NPU를 묶은 'NPU 팜'을 구성해 사내 여러 서비스가 자원을 공유하는 방식으로 운영 효율을 극대화했다.

리벨리온은 이번 대규모 상용 운영 성과를 발판 삼아 금융·통신·공공 등 다양한 산업 분야로 NPU 인프라 공급을 확장할 계획이다.

박성현 리벨리온 대표는 "국민이 매일 사용하는 서비스 4곳에서 안정적 구동을 증명하며 국산 NPU가 '검증된 인프라'로 자리잡았다"고 밝혔다.