[따로 노는 사내 AI] '닥돌 AX'에 거버넌스도 부재, 86%가 실패...성공기업 공통점은 '조율'

맥킨지 조사 "성숙 도입 33%·실운영 14% 그쳐"

하향식 강제 도입은 실패, 집단지성형 오케스트레이션은 성공

AI로 만든 이미지 [사진=제미나이]

기업용 인공지능(AI) 에이전트 도입에 나선 글로벌 기업 10곳 중 9곳 가까이가 실패로 끝난 것으로 나타났다. AI 전환(AX)을 서두르며 앞뒤 재지 않고 밀어붙이는 전략이 오히려 거버넌스 공백을 낳고, 정작 현장 직원들의 필요성과는 괴리된 AI를 양산하고 있다.
 
19일 맥킨지가 AI 거버넌스·리스크관리·투자를 총괄하는 임원급 500여 명을 대상으로 실시한 '2026 AI 트러스트 성숙도 서베이’ 조사에 따르면 올해 초 기준 기업용 AI 에이전트 도입을 성공한 기업은 전체 중 33%에 그쳤다. 이 중에서도 대규모 프로덕션 단계까지 도달한 비율은 14%에 불과했다. 나머지 86%는 파일럿 단계에서 그치거나 아예 도입에 실패한 것이다.
 
실패의 근본 원인은 '속도전' 때문이다. 부서·직군 구분 없이 AI 에이전트 도입에 나섰지만 정작 각 부서의 업무 방식을 반영한 맞춤 설계는 뒷전으로 밀리는 경우가 많기 때문이다. 결국 값비싼 비용을 치르고 도입한 AI는 외면받고 직원들은 자신에게 익숙한 AI를 사용하며 업무 효율 저하, 보안 문제까지 야기하고 있다.
 

딜로이트가 발표한 '2026 스테이트 오브 AI 인 엔터프라이즈(State of AI in the Enterprise)' 보고서에서도 비슷한 경고가 나왔다. 이 보고서는 2027년까지 글로벌 기업의 74%가 AI 에이전트를 도입할 것으로 전망하면서도 이를 안전하게 통제·운영할 체계를 갖춘 기업은 21%에 불과하다고 지적했다. 도입 속도는 빨라졌지만 이를 뒷받침할 거버넌스를 갖추지 못하는 경우가 압도적으로 많다는 얘기다. 

상황이 이렇다 보니 여러 AI를 각 직군별로 맞게 도입하는 '에이전트 오케스트레이션'을 채택하는 곳도 늘어나고 있다. 회사 차원에서 명확한 거버넌스를 도입한 뒤 여러 AI를 동시에 도입해 업무별로 세분화 하는 것을 뜻한다. 
 
언스트앤영은 자사 AI 플랫폼을 전 세계 전문가 30만명 이상에게 오픈소스 형태로 배포했다. 세무·감사·컨설팅 등 서로 다른 업무 환경을 가진 조직마다 요구사항이 제각각이었던 만큼 꾸준히 수정해 나가며 현장의 요구 사항을 반영하고 있다.
 
JP모건 역시 대형언어모델(LLM)에 에이전틱 오케스트레이션을 도입했다. 하나의 지휘 체계 아래에서 여러 에이전트를 연결해 각 부서와 업무 단위에서 자유롭게 수정·활용할 수 있도록 설계한 것이 핵심이다. 세일즈포스 역시 수천 개의 AI 에이전트를 실운영 환경에서 오케스트레이션하고 있다. 부서별로 흩어져 있던 에이전트를 하나의 관제 체계로 묶어 업무 흐름을 통합한 결과 업무 처리 시간을 84% 단축하는 성과를 냈다.