화웨이, AI 훈련기술 개발…"딥시크보다 효율적"

[사진=EPA·연합뉴스]

중국 빅테크(거대 정보기술기업) 화웨이가 "자사 칩을 활용한 인공지능(AI) 훈련 기술을 개발했으며 이는 딥시크의 훈련법보다 효율적"이라고 밝혔다.

5일 홍콩 사우스차이나모닝포스(SCMP)는 화웨이의 이런 AI 모델 설계 기술의 발전을 소개하면서 중국이 미국 기술에 대한 의존을 줄이려는 노력의 하나로 중요한 의미를 갖는다고 보도했다.

SCMP에 따르면 화웨이의 대형언어모델(LLM) 개발팀인 판구(Pangu)팀은 지난달 28일 논문저장 사이트 'arXiv'에 공개한 '판구 프로 MoE'란 논문에서 딥시크가 '저비용 고효율' AI 모델 개발에 활용한 '전문가 혼합'(MoE·Mixture of Experts) 모델을 개선한 '그룹화 전문가 혼합'(MoGE·Mixture of Grouped Experts) 모델을 소개했다. MoE란 문제 해결에 필요한 최적의 전문가들만 선별해 활용하는 개념을 LLM 학습 방법에 적용한 것이다. 딥시크는 이를 통해 저사양 칩으로 효율적으로 AI 모델을 구성했다. 

화웨이 판구팀은 MoE는 각 입력 토큰에 대해 활성화되는 매개변수(파라미터)의 비율이 매우 낮아 일반적 LLM보다 효율성은 뛰어나지만, 일부 전문가들이 다른 전문가들보다 훨씬 자주 활성화되는 현상이 종종 나타남에 따라 시스템 비효율성의 원인이 될 수 있다고 지적했다.

그러면서 자신들이 개발한 MoGE는 전문가 작업의 균형을 잘 잡게 해 MoE의 시스템 비효율성을 해소할 수 있다고 밝혔다.

논문에 따르면 MoGE는 사전에 정의된 각 전문가그룹 안에서 동일한 수의 전문가들을 활성화하도록 토큰을 제약한다. MoGE가 사용한 그룹 균형 분배 전략은 전문가를 고유하고 겹치지 않는 그룹으로 분할하며 각 그룹을 특정 컴퓨팅 장치에 할당한다. 

화웨이는 또 자사의 신경망처리장치(NPU) 어센드를 활용해 MoGE 기반 희소 모델인 ‘판구 프로(Pro) MoE’를 구축했다고도 밝혔다. 이 모델은 매개변수 총 720억 개 가운데 토큰당 160억 개를 활성화한다. 이 구성은 300I 듀오 및 어센드 800I A2에 최적화됐다.

판구팀은 "어센드 NPU가 대규모 병렬화를 통해 판구 프로 MoE를 훈련해 1천억 파라미터(100B) 미만급에서 선도적 모델이 될 수 있다며 벤치마크 평가 결과 즈푸의 GLM-Z1-32B나 알리바바의 Qwen3-32B 등을 앞섰다"고 밝혔다.