전국민 대상 무료 '모두의 AI'...256단위 GPU로는 '태부족'

모두의 AI·사이버보안 사업, 팀당 B200 256장 지원...1차 독자AI 사업 대비 4분의 1

실사용 벤치마크 환산 시 동시 처리 최대 1만4000건..."전 국민 서비스엔 역부족"

인도·사우디 등 해외는 GPU 수만~수십만장 투입, 재원 격차 뚜렷

배경훈 부총리 겸 과학기술정보통신부 장관이 '과학기술정보통신부 기자간담회' 에서 발언하고 있다. [사진=과학기술정보통신부]

정부가 '사이버보안 특화 AI 파운데이션 모델 사업'과 '모두의 AI 사업'에 그래픽처리장치(GPU) 256장 안팎을 지원하기로 했다. 지난해 독자 AI 파운데이션 모델 사업에서 정예팀에 최소 1000장씩 지원했던 것과 비교하면 4분의 1 수준으로, 전 국민을 대상으로 하는 무료 AI 챗봇 구축에는 한계가 있다는 지적이 나온다.
 
6일 IT업계에 따르면 과학기술정보통신부와 정보통신산업진흥원(NIPA)은 지난달 29일 '전 국민 AI 서비스 보편적 활용 지원(모두의 AI) 사업 수정 공고문'과 '사이버보안 특화 AI 파운데이션 모델 개발 수정 공고문'을 게재했다.
 
모두의 AI 사업은 전 국민에게 무제한·무료 AI 챗봇 제공을 목표로 하며, 정부가 보유한 B200 512장을 투입한다. 선정 기업이 2곳이면 256장씩, 3곳이면 1위 기업에 256장, 2·3위 기업에 128장씩 배분된다.
 

시중 B200 임차 단가(월 660만원 안팎)를 기준으로 환산하면 256장의 연간 가치는 약 202억원이며, 모두의 AI 사업 전체로는 연간 약 405억원 상당의 정부 인프라가 투입되는 셈이다.
 
사이버보안 특화 AI 파운데이션 모델 개발 사업은 선정된 1개 팀에 엔비디아 B200 GPU 256장(32노드)이 10개월간 지원되며, GPU 조달비와 인건비, 데이터 구축, 서비스 실증 비용 등을 더해 최대 300억원 규모의 예산이 투입된다.
 
B200 GPU 256장(32B급 기준)을 10개월간 투입할 경우 처리 가능한 이론적 토큰 규모는 약 62조 개로 추산된다. 사이버보안 특화 모델 개발 사업은 이론상 초기 학습은 물론 서비스 실증까지 가능한 수준으로 풀이된다는 것이 정부 관계자의 설명이다. 
 
문제는 모두의 AI 사업이다. B200 데이터시트 기준 GPU 256장의 이론적 연산성능은 FP8 기준 약 1152페타플롭스(PFLOPS)로, H100 256장 대비 약 2.3배에 해당하는 수준이다.

국내 AI스타트업 올거나이즈의 H100 실사용 벤치마크를 B200 256장 규모로 환산하면 실사용 동시 처리 상한은 최대 1만4000건에 불과하다는 것이 업계의 분석이다. 엔진 최적화 수준에 따라 동시 처리 상한은 상향될 수 있으나 전국민을 대상으로 하는 AI 무료 챗봇 제공은 현실적으로 어렵다는 평가다.
 
특히 정부의 무상 AI 챗봇을 특정 사용자가 과도하게 사용하거나 하는 등의 사례가 발생할 경우 병목 현상도 피하기 힘들다.
 
조성배 연세대학교 컴퓨터과학과 교수는 "모델을 경량으로 하는 등 방법으로 최대한 많은 사용자가 모두의 AI를 사용할 수 있도록 할 수는 있으나 현실적으로 한계가 있다. 당연히 개발이나 연구용으로는 사용할 수준이 아니다"며 "그럼에도 부족한 재원에서 이 같은 시도를 하는 것 자체는 의미가 있다고 평가한다"고 말했다.
 
해외 사례와 비교해 국가 단위의 AI 재원 투입이 부족하다는 지적도 나온다. 인도 정부는 인디아AI 미션에 1조7000억원을 투입해 GPU 3만8000장 이상을 확보했으며, 스타트업과 연구기관 등에 시세보다 낮은 가격으로 임대하는 방식으로 운영하고 있다.

사우디아라비아 국부펀드(PIF) 산하 국영 AI기업 휴메인은 향후 수년간 GPU 60만장을 배치하겠다는 목표를 제시했다. 이들 사업은 전 국민 대상 무료 챗봇 수준을 넘어 스타트업·연구기관용 컴퓨팅 임대나 데이터센터 수출을 목표로 한다.
 
정부는 올해 국가 AI 예산 9조9000억원 가운데 상당 부분을 데이터센터 확충과 GPU 확보에 투입하고 있지만, 신규 사업이 늘어날수록 개별 사업에 배정되는 GPU 규모는 상대적으로 줄어드는 구조다. 모두의 AI는 이달 사업자 선정과 9월 말 베타서비스를 거쳐 연내 정식 서비스 출시를 목표로 하고 있다.