KT, 국산 AI 반도체·LLM 한 서버에…공공·금융 등 규제산업 공략

[사진=KT]

KT(대표이사 박윤영)가 국산 인공지능(AI) 반도체와 자체 개발 대규모언어모델(LLM)을 결합한 기업용 소버린 AI 어플라이언스를 선보였다.

KT는 기업용 일체형 AI 제품인 'KT NPU LLM 스테이션'을 선보였다고 19일 밝혔다. 어플라이언스는 하드웨어와 소프트웨어를 하나의 장비에 통합한 완제품형 장치를 뜻한다.

해당 제품에는 국내 AI 반도체 기업 리벨리온의 신경망처리장치(NPU) ‘아톰-맥스(ATOM-MAX)’와 KT의 자체 개발 LLM ‘믿음 K 2.5 프로(Pro)’, 운영 응용프로그램인터페이스(API) 플랫폼이 탑재됐다.

아톰-맥스는 AI 추론에 특화된 국산 NPU다. 공인시험에서 동급 그래픽처리장치(GPU)  대비 처리 성능과 전력 효율을 검증받았다.

믿음 K 2.5 프로는 고난도 추론과 AI 에이전트 활용에 특화된 KT의 독자 모델이다. AI 반도체부터 LLM, 운영 플랫폼까지 핵심 기술을 국산으로 구성한 것이 특징이다.

KT는 이 제품으로 망분리와 보안 규제로 외부 생성형 AI 도입이 어려웠던 공공·국방·제약·제조·금융 분야를 주요 수요처로 공략한다는 계획이다.

아울러 향후 회의록 작성과 코딩 지원, 업무 자동화 에이전트 ‘K-클로(가칭)’ 등 자체 개발한 AI 에이전트를 제품에 순차적으로 탑재할 예정이다. AI 에이전트 전문 개발사와 협력해 고객 맞춤형 구축 사업으로도 확대한다. 장기적으로는 KT NPU LLM 스테이션을 피지컬 AI용 엣지 데이터센터(DC)에 적용해 저전력·저지연 AI 인프라를 구축할 계획이다.

이진형 KT AX사업본부장 상무는 "KT NPU LLM 스테이션은 KT의 AX 풀스택 역량과 국산 반도체를 결합해 소버린 AI를 산업 현장에서 즉시 활용할 수 있도록 만든 제품"이라며 "데이터 주권을 지키면서 AI 전환을 추진하려는 기업과 기관에 현실적인 선택지가 될 것"이라고 말했다.

한편 KT는 18일 과학기술정보통신부에서 추진하는 '모두의 AI' 프로젝트 주관사에 지원했다. KT는 업스테이지, 모티프테크놀로지스, NC AI 등과 컨소시엄을 꾸렸다. 이를 기반으로 통신·클라우드 인프라와 대규모 서비스 운영 경험을 기반으로 AI 서비스를 구축한다.