ETRI, AI 개발 시간 절반 이하로 단축하는 공유메모리 기술 개발

'딥러닝(인공신경망) 분산 처리' 기술의 문제점이었던 통신 병목 현상 해결에 초점... 내년 상용화 목표

최용석 책임연구원이 서버에 메모리 박스를 장착하는 모습.[사진=ETRI 제공]

국내 연구진이 인공지능 모델 개발에 필요한 데이터 학습시간을 단축할 수 있는 컴퓨팅 기술을 개발했다. 메모리 박스(Memory BoxTM)라고 불리는 공유기억장치를 활용해 여러 개의 CPU가 하나의 데이터셋에 빠르게 접근할 수 있도록 해, 여러 대의 컴퓨터에서 인공지능 모델을 학습시킬 때 일어나는 통신 병목현상을 해결했다. 이를 통해 하나의 인공지능 모델을 개발하는데 필요한 시간을 일주일에서 1~2일로 단축하는데 성공했다.

한국전자통신연구원(ETRI)은 10일 '딥러닝(인공신경망) 분산 학습'에 최적화된 고속 처리기술을 개발했다고 밝혔다. 해당 고속 처리기술을 활용하면 인공지능 모델 개발에 필요한 시간을 최대 1/7 수준으로 줄일 수 있다.

인공지능 모델을 개발하려면 대규모 데이터를 인공지능에게 학습시켜야 한다. 이렇게 학습에 들어가는 시간을 줄이기 위해 여러 대의 컴퓨터를 이용하는 분산 학습기술이 각광받고 있다.

하지만 분산 학습기술도 대용량 모델을 여러 컴퓨터에서 동시에 실행하면 컴퓨터들 간 통신량이 많아 특정 지점에서 성능이나 용량이 저하되는 현상인 '통신 병목 현상'이 발생한다.

이를 해결하기 위해 대부분의 기업과 연구소는 컴퓨터의 계산·처리 등을 담당하는 CPU나 GPU를 교체해 성능을 강화시키는 방법을 이용하고 있다. 하지만 이 방법은 장비를 계속 업그레이드해야 하기 때문에 많은 비용이 필요하다는 단점이 있다.

이번에 ETRI 연구진은 메모리박스라는 공유기억장치를 개발해 분산 학습시 발생하는 통신 병목현상을 해소, 학습 시간을 크게 단축시켰다.

메모리 박스는 컴퓨터들 중간에서 일종의 가상 공유 메모리 역할을 수행한다. 각 컴퓨터들이 학습한 것을 서로 공유하도록 도와 통신량을 줄여준다.

이 기술을 이용하면 대대적인 장비 교체없이 적은 투자 비용으로 인공지능 학습 시간을 대폭 줄일 수 있다. 특히 이번에 개발한 기술은 하드웨어(HW)뿐만 아니라 소프트웨어(SW) 형태도 모두 지원하기 때문에 기업과 연구소의 상황에 맞는 맞춤형 솔루션을 제공할 수 있다.

ETRI는 메모리 박스를 활용해 인공지능 모델을 1만번 반복 학습하는 실험을 진행한 결과 기존 방식에서는 16분 23초가 걸리던 것이 7분 31초로 단축됐다고 설명했다.

또한 ETRI 연구진은 국내 개발자들이 손쉽게 딥러닝 연구를 진행할 수 있도록 인공지능 컴퓨팅 환경인 `딥러닝 대시보드'도 개발했다.

딥러닝 대시보드는 GPGPU 기반 개발환경을 제공해, 개발자들이 관련 코드를 하나씩 입력하지 않아도 된다. 때문에 학습시간은 물론 모델 개발 시간을 단축시키는데 많은 도움이 된다. 텐서플로, 카페 등 인공지능 개발에 주로 쓰이는 라이브러리도 지원하기 때문에 대시보드 상에서 바로 인공지능 모델 개발을 진행할 수 있다. 

ETRI는 딥러닝 대시보드 기술을 통해 해상도가 높은 의료영상 분석이나 방대한 이미지 분석 등 딥러닝 및 인공지능이 필요한 다양한 산업분야에 인공지능 도입이 가속화될 것으로 기대하고 있다.

ETRI 연구진이 개발한 딥러닝 고속 처리 시스템 기술은 현재 2개의 중소기업이 기술을 이전받아 연구소 기업 설립을 추진 중이다. 해당 기업들을 통해 내년 상용화를 목표로 하고 있다.

ETRI 인공지능연구소 최완 책임연구원은 “이번 기술 개발로 구글, 엔비디아 등 글로벌 기업이 독식하고 있는 인공지능 컴퓨팅 인프라 시장을 우리 기술로 대체할 수 있을 것으로 기대된다"며 "고난이도 딥러닝 기술과 독자적인 인공지능 슈퍼컴퓨팅(HPC) 시스템 개발이 코앞으로 다가왔다"고 말했다.