빅데이터 시장의 산업 현주소는?

급격하게 늘어나는 데이터 활용 요구들이 즉각적인 데이터 처리 환경으로 패러다임 변화

4차 산업혁명 시대의 핵심 요소로 평가받는 빅데이터의 활용이 갈수록 커지고 있다.

5G 시대에는 소셜네트워크서비스(SNS)의 멀티미디어, 포털 이용 정보 등 인터넷 환경에서 불규칙적으로 발생하는 ‘비정형 데이터’ 외에도 차량과 차량, 기기와 기기 등에 교환되는 예측하기 어려운 영역의 ‘지능형 데이터’가 폭증하고 있는 추세다.

독일 시장 조사 기관 스타티스타에 따르면, 빅데이터 거래 시장 규모는 2017년 335억달러(약 38조원)에서 922억달러(약 104조원)을 돌파할 것으로 전망했다.

IDC ‘데이터 에이지(DATA AGE) 2025’ 보고서는 2025년에는 세계적으로 연간 163제타바이트의 데이터가 발생한다고 내다봤다. 1제타바이트는 1조1000억 기가바이트로, 3메가바이트 안팎의 MP3 노래파일을 281조5000억의 곡을 저장할 수 있는 용량이다.
 

[사진=게티이미지뱅크]

◆ 데이터 저장·처리 패러다임의 ‘지각변동’

지금까지 대부분의 기업은 큰 문제없이 대형 DBMS(데이터베이스 관리 시스템) 벤더가 제공하는 고성능 장비를 이용해 데이터를 정형화하고 저장해 비즈니스에 활용할 수 있었다.

그러나 무선통신 기술이 발전하면서 이용자들이 이동성을 얻고, 이동 중에 소비할 수 있는 다양한 웹 콘텐츠가 생겨나면서 발생되는 데이터의 양이 기존 시스템의 한계를 넘어가기 시작했다.

이후 분산 저장 시스템과 분산 처리 프레임워크(소프트웨어의 설계와 개발을 재사용하도록 허락하는 개발 환경)를 가진 오픈소스 빅데이터 기술이 등장했고, 기업들이 기존에 가지고 있던 데이터 저장, 처리의 패러다임의 변화가 요구되고 있다.

실제 빅데이터를 활용하고 있는 대다수 기업들은 데이터의 활용과 전문적인 분석의 종류가 늘어남에 따라 자원 관리에 대한 문제에 부딪히고 있는 실정이다. 또한 급변하는 비즈니스 환경에 맞춰 급격하게 늘어나는 데이터 활용과 분석 요구들은 즉각적인 데이터 처리 환경의 제공을 필요로 하게 됐으며, 빅데이터 또한 가상화 기반으로 서비스화하는 흐름을 보이고 있다.
 

데이터 증가량 및 통신 발전에 따른 데이터 유형 변화.[자료=KT넥스알]

이에 중국 대표 문화 SNS 서비스인 ‘도우반(Douban)’은 6피코바이트(104만8576 기가바이트)이상의 데이터가 저장된 빅데이터 환경에서 하루에 300만개 이상의 데이터 처리 작업을 수행하는데 ‘컨테이너 기술(운영체제 레벨의 가상화)’을 활용 중이다.

글로벌 1위의 빅데이터 솔루션 업체인 ‘클라우데라(Cloudera-Hortonworks)’는 컨테이너 기술 및 클라우드 기반 아키텍처의 채택을 차세대 전략이라고 선언했다.

국내의 경우, KT의 자회사인 KT넥스알이 초대용량 데이터를 클라우드 환경에서 실시간으로 저장하고 분석하는 신규 빅데이터 플랫폼 ‘콘스탄틴(가칭, Constantine)’을 준비중이다.

KT넥스알이 개발하는 콘스탄틴은 실시간 대용량 데이터 수집과 저장, 통합·변환·압축 기능에 저장된 데이터의 실시간 분석과 보고(Report) 기능까지 제공하는 발전된 통합 솔루션으로 올 하반기 출시를 목표로 하고 있다.

KT넥스알은 5G 기반의 스마트팩토리, 스마트시티, 자율주행과 같은 새로운 기술을 지원하고 고객이 혁신적인 가치를 창출할 수 있도록 △인공지능(AI) 모델을 구축하고 공유하는 환경 △‘에지 컴퓨팅(Edge Computing)’ 지원 △클라우드 환경에서도 빅데이터 플랫폼 역할 수행 등의 기능을 콘스탄틴에 도입할 예정이다.

앞서 KT넥스알은 빅데이터 플랫폼 ‘NDAP’로 주목받았다. NDAP는 빅데이터 활용에 필요한 모든 과정(수집, 저장, 조회·처리, 보안, 분석)을 ‘배치 처리 방식(Batch Process System, 일정 시간 간격으로 데이터를 모아 일괄 처리하는 방식)’으로 하나의 솔루션에 담아낸 제품이다.

NDAP이 출시된 2012년에 KT는 3G에서 발전된 4G 서비스를 시작하면서 폭발적으로 증가하는 데이터의 양과 발생 속도가 기존 KT 인프라의 한계를 뛰어 넘었다는 평가다. 실제 NDAP을 기반으로 하는 KT 핵심 빅데이터 시스템 ’KDAP(KT Data Analytics Platform)’은 데이터 구축과 운영에 필요한 비용을 기존 데이터베이스 시스템 확장 방식에 비해 88%를 절감했다.