KAIST, 초대형 그래프 처리 시뮬레이션기술 개발…"효율 1만배"

김민수 전산학부 교수 연구팀 'T-GPS' 개발

구글, 페이스북, 네이버, 카카오같은 IT 거인들뿐아니라, 중소·벤처 기업도 저비용으로 빠르게 정보 추천, 인공지능(AI) 챗봇 등 그래프데이터 기반 서비스를 개발할 수 있는 '그래프 프로세싱 시뮬레이션' 기술이 국내 연구진에 의해 세계 최초로 개발됐다. 구글 검색엔진의 웹페이지 검색이나 페이스북 소셜네트워크서비스(SNS)의 친구 추천, 온라인 쇼핑몰의 관심상품 등 대규모 그래프데이터 처리 알고리즘을 만들고 검증하는 데 소요되는 자원과 시간을 크게 절감할 수 있을 전망이다.

그래프데이터는 정점(vertex)과 이들을 잇는 간선(edge)으로 구성된 데이터인데, 오늘날 여러 IT기반 서비스가 이런 데이터를 계산하는 알고리즘으로 이뤄져 있다. 구글 웹 검색 시스템의 출발점은 웹페이지를 정점, 웹페이지간 링크를 간선으로 모델링한 '페이지랭크'라는 그래프 알고리즘이었다. SNS에서 잠재적인 친구를 추천하거나, 온라인 쇼핑몰에서 상품을 추천하거나, 지식서비스의 정보를 제공하는 AI가 모두 그래프데이터에 대한 특정 알고리즘을 계산한 기능이다.

한국과학기술원(KAIST)은 전산학부 김민수 교수 연구팀이 1조개 간선의 초대규모그래프 처리 알고리즘을 거대 서버 클러스터에 직접 데이터를 저장하는 부담 없이 PC 1대의 성능으로 계산할 수 있는 기술 'T-GPS'를 개발했다고 23일 밝혔다. T-GPS는 그래프데이터 알고리즘 계산을 수행시 실제로는 시스템에 저장되지 않은 그래프데이터를 저장된 것처럼 다루고, 그 계산 결과도 실제 그래프데이터를 계산했을 때와 동일하게 얻을 수 있는 기술이다.

기존 그래프데이터를 처리하는 그래프 알고리즘을 개발하려면 합성그래프를 생성해 저장하고, 이를 다시 그래프처리엔진에서 메모리에 올려 알고리즘 계산을 수행하는 2단계 과정을 거쳐야 했다. 알고리즘 계산의 대상이 되는 그래프데이터의 규모가 커질 경우 대규모 컴퓨팅 자원이 필요해지는 문제가 있었다. T-GPS는 알고리즘이 계산할 그래프데이터의 일부분만을 실시간 생성해, 실제 합성그래프모델로 생성된 데이터가 계산이 수행되고 있는 시스템에 존재하는 것처럼 처리한다.

연구팀에 따르면 T-GPS 기술은 1대의 컴퓨터에서 1조개 간선 규모의 그래프를 계산할 수 있다. 기존 2단계 계산방식으로 11대의 컴퓨터 클러스터에서 10억개 간선 규모의 그래프를 계산할 수 있었던 것과 비교하면 같은 자원으로 1만배 규모의 데이터를 처리할 수 있음을 확인한 셈이다. 이 때 알고리즘 계산 속도도 43배 빨랐다. 그래프데이터가 IT업계에서 광범위하게 활용되고 있다는 점을 감안하면 산업적으로 이 기법이 보급될 경우 파급효과가 클 것이라고 연구팀은 설명했다.

교신저자로 참여한 김민수 교수는 "T-GPS 기술을 사용하면 초기 서비스에 확보된 소규모 그래프데이터와 서비스중인 알고리즘을 입력해 시뮬레이션함으로써 서비스 운영에 따른 그래프데이터 증가시 현재의 알고리즘이 어떤 성능을 낼지 컴퓨터 1대만으로도 정확히 계산할 수 있다"면서 "게임·가상현실 소프트웨어에서 실제 거대 그래프데이터를 저장하지 않고 참여자가 접근하는 데이터부분만 가시화하거나 반응을 계산하는 기술에도 적용할 수 있다"고 설명했다.

이 연구에 김 교수의 제자이자 캐나다 워털루대학에 박사후연구원으로 재직중인 박힘찬 박사가 제1저자, 김 교수가 교신저자로 참여했다. 논문은 데이터베이스 분야의 권위있는 국제학술대회 중 하나로 지난 22일 온라인으로 진행된 IEEE ICDE에서 'Trillion-scale Graph Processing Simulation based on Top-Down Graph Upscaling'이라는 제목으로 발표됐다. 연구는 한국연구재단 선도연구센터 사업과 중견연구자 지원사업, 과기정통부 IITP SW스타랩 사업 지원을 받아 수행됐다.
 

기존 그래프데이터 처리 기술과 T-GPS 기술의 차이 개념도. [사진=KAIST 제공]