[전문가 기고] AI 성공의 조건, AI 레디 데이터 플랫폼

유석근 클라우데라코리아 전무[사진=클라우데라]

AI와 고도화된 분석 기술이 빠르게 확산되면서 기업 경쟁의 기준도 달라지고 있다. 이제 AI의 도입 여부보다 중요한 것은 AI가 신뢰할 수 있는 데이터를 기반으로 실제 비즈니스 가치를 창출할 수 있는 환경을 갖추고 있는가이다. 다시 말해 AI 시대 기업 경쟁력의 핵심은 '데이터 준비(Data Readiness)'에 있다.

많은 기업이 데이터의 중요성을 인식하고 AI 투자에 속도를 내고 있지만, 현실은 기대만큼 녹록지 않다. 최근 클라우데라가 한국을 포함한 14개국 1,200여 명의 IT 리더를 대상으로 실시한 조사에 따르면, 글로벌 응답자의 89%(국내 93%)는 경영진이 AI 확산을 위한 데이터 인프라를 핵심 과제로 인식하고 있다고 답했다. 

또한 86%는 비즈니스 목표와 연계된 데이터 전략을 수립했으며, 같은 비율의 기업이 데이터 인프라와 클라우드 투자를 확대하고 있다고 밝혔다. 데이터가 더 이상 IT 부서만의 자산이 아니라 기업 경영의 핵심 의제로 자리 잡고 있음을 보여주는 결과다.

그러나 투자와 관심이 곧 데이터 경쟁력으로 이어지는 것은 아니다. 가장 큰 걸림돌은 조직 내 데이터 사일로(Silo)와 낮은 데이터 접근성이다. 조사 결과 데이터가 완전히 통합되어 있다고 답한 기업은 30%에 불과했으며, 절반 이상은 데이터가 일부만 연결되어 있다고 응답했다. 

국내 기업의 경우 상황은 더 심각해서, 국내 응답 기업의 80%가 데이터가 아직 완전히 연결되지 않았다고 답했다. 대부분의 데이터가 시스템별로 분산되어 있어 전사적으로 활용하는 데 어려움을 겪고 있는 것이다.

이 같은 데이터 준비 부족은 성과 부진으로 이어진다. 클라우데라와 하버드비즈니스리뷰 애널리틱 서비스의 'AI 데이터 준비의 복잡성 극복' 보고서에 따르면 비즈니스 리더 73%가 AI에 필요한 데이터 준비에 어려움을 겪고 있으며, 원인으로 데이터 사일로·소스 통합 곤란(56%), 데이터 전략 부재(44%), 품질·편향 문제(41%), 활용 규제(34%)를 꼽았다.

실제로 랜드연구소(RAND Corporation) 조사에서도 AI 프로젝트의 약 80%가 기대한 비즈니스 성과를 달성하지 못하는 것으로 나타났는데, 이는 일반 IT 프로젝트 실패율의 약 두 배에 달하는 수치다.

해외 사례는 데이터 준비 부족이 얼마나 치명적일 수 있는지를 잘 보여준다. 미국 부동산 플랫폼 질로우는 자체 AI 모델 '제스티메이트'로 주택 가격을 예측해 매입·재판매하는 '질로우 오퍼스' 사업을 야심 차게 추진했다.

그러나 팬데믹 이후 급변한 시장 데이터를 모델이 제때 반영하지 못해 주택 가격을 계속 과대평가했고, 결국 2021년 3분기에만 4억 2,100만 달러의 손실을 내고 사업을 접으며 인력 25%를 감축했다. 아무리 정교한 알고리즘도 신선하고 신뢰할 수 있는 데이터 없이는 오히려 독이 될 수 있음을 보여준다.

반대로 데이터 통합에 먼저 투자해 성과를 낸 사례도 있다. 글로벌 투자은행 스탠다드차타드는 글로벌 각국에 분산된 데이터와 상이한 규제 환경을 효율적으로 관리하기 위해 전사 데이터 패브릭을 구축했다. 데이터 수집부터 접근 권한, 보안 정책, 데이터 리니지까지 통합 관리하고, 국가별 데이터 주권 및 금융 규제를 준수하면서도 전사 데이터를 분석과 AI에 활용할 수 있는 기반을 마련했다. 표준화된 데이터 파이프라인은 데이터 파이프라인 개발 주기를 약 40% 단축하는 등 데이터 활용 속도와 운영 효율성을 크게 향상시켰다.

문제는 여기서 끝나지 않는다. 기업들이 서둘러 AI를 도입하는 과정에서 조직마다 서로 다른 도구를 중복 투자하는 이른바 'AI 사일로' 현상도 새로운 과제로 떠오르고 있다. 부서별로 제각각인 도구가 난립하면 데이터와 모델의 일관성이 깨지고 거버넌스는 더 복잡해진다. 전문가들은 조직 전반에 통합된 데이터·AI 플랫폼을 구축해야 이를 해결할 수 있다고 조언한다.

AI는 양질의 데이터를 기반으로 할 때 비로소 성과를 낼 수 있다. 데이터가 여러 시스템에 흩어져 있거나 접근 권한과 거버넌스가 미흡하면 아무리 뛰어난 AI 모델을 도입해도 기대한 성과를 얻기 어렵다. 결국 데이터 준비의 핵심은 데이터를 얼마나 많이 보유했느냐가 아니라, 데이터를 통합하고 신뢰할 수 있는 형태로 관리하며 필요한 순간 안전하게 활용할 수 있는 체계를 갖추는 데 있다.

AI 경쟁은 이제 모델 경쟁이 아니라 데이터 경쟁이다. 기업은 데이터를 저장하는 데 그칠 것이 아니라, 데이터가 어디에 있든 하나의 자산으로 연결하고 AI와 분석 환경에서 자유롭게 활용할 수 있는 기반을 마련해야 한다. 

질로우의 실패와 스탠다드차타드의 성과가 갈리는 지점도 결국 이 하나, 데이터를 얼마나 신뢰할 수 있는 자산으로 관리했는가였다. 이러한 'AI 준비 데이터 플랫폼(AI-Ready Data Platform)'을 구축한 기업만이 빠르게 변화하는 시장에서 새로운 비즈니스 가치를 창출하고 지속 가능한 경쟁우위를 확보할 수 있을 것이다.