[AI 인사이트] "챗봇은 깔았는데 아무도 안 쓴다"…기업 AX의 현실

양영모 레드브릭 대표[사진=레드브릭]

 

“많은 기업이 인공지능(AI)을 도입하면 바로 업무 혁신이 일어날 것으로 기대하지만, 실제 현장에서는 전혀 다른 문제들이 나타납니다.”

양영모 레드브릭 대표는 최근 기업들의 AI 전환(AX) 프로젝트 분위기에 대해 이같이 설명했다. 생성형 AI 열풍 속에 챗봇과 문서 요약, 보고서 자동화 시스템 도입은 빠르게 늘고 있다. 하지만 실제 현업 활용 단계에서는 예상치 못한 한계가 반복적으로 나타나고 있다는 진단이다.

양 대표는 특히 최근 기업 현장에서 “AI는 구축했는데 정작 직원들이 잘 쓰지 않는다”는 이야기가 자주 나온다고 전했다. 그는 “처음에는 대부분 AI 모델 성능과 답변 정확도 중심으로 검토가 이뤄진다”며 “하지만 실제 업무 환경에서는 기존 시스템과의 연결 구조, 데이터 관리 체계, 권한 문제 같은 운영 요소가 훨씬 중요하게 작동한다”고 말했다.

실제 현장에서는 AI 자체가 기존 업무 흐름과 충돌하는 사례가 적지 않다. 한 기업은 생성형 AI 기반 업무 지원 시스템을 구축했지만 활용률이 기대에 미치지 못했다. ERP(전사적자원관리)와 협업 툴, 내부 시스템과 자연스럽게 연결되지 못하면서 직원들에게는 기존 업무에 추가된 별도 프로그램처럼 인식됐다는 설명이다.

문서 관리 체계 문제 역시 반복적으로 나타나는 사례 중 하나다. 최신 문서와 과거 자료가 혼재돼 있거나 부서마다 관리 기준이 달라 AI가 오래된 자료를 기반으로 답변하는 경우도 발생하고 있다. 양 대표는 “기업 AI에서 중요한 것은 단순 정확도가 아니다”라며 “어떤 데이터를 기반으로 답변하고 있는지, 접근 권한은 제대로 반영되고 있는지까지 포함한 운영 구조가 핵심”이라고 설명했다.

최근 기업들이 여러 AI 모델을 동시에 활용하는 ‘멀티 LLM’ 환경으로 이동하는 점도 새로운 과제로 꼽았다. 마케팅 조직은 서비스형 소프트웨어(SaaS) 기반 AI를, 개발 조직은 오픈소스 모델을, 고객 응대 조직은 별도 AI 솔루션을 사용하는 식으로 AI 활용 방식이 다양해지고 있다. 그러나 이를 통합 관리할 수 있는 체계는 여전히 부족하다는 분석이다.

그는 “기업 입장에서는 어떤 조직이 어떤 데이터를 어떤 AI에 활용하는지조차 파악하기 어려워지는 상황이 발생할 수 있다”며 “멀티 LLM 환경에서는 데이터 통제와 보안 정책, 비용 관리까지 함께 고려해야 한다”고 말했다. 특히 금융·제조·공공 분야처럼 보안과 운영 안정성이 중요한 산업일수록 이러한 흐름이 더욱 뚜렷하게 나타나고 있다는 설명이다. 실제로 최근에는 단순 AI 도입보다 데이터 연결 구조와 권한 관리 체계, 운영 거버넌스 설계까지 함께 요청하는 사례도 늘고 있다.

양 대표는 기업들의 가장 큰 착각 중 하나로 “AI를 기술 프로젝트로만 접근하는 것”을 꼽았다. 그는 “내부 데이터 구조와 업무 흐름, 승인 체계가 정리되지 않은 상태에서 AI부터 붙이면 운영 단계에서 문제가 터질 수밖에 없다”며 “AX는 단순히 AI 기능을 추가하는 것이 아니라 기업 운영 구조 자체를 다시 설계하는 과정에 가깝다”고 강조했다.

이어 “앞으로 기업 AI 경쟁력은 누가 더 뛰어난 모델을 도입했는지가 아니라, AI를 실제 업무 안에서 얼마나 안정적이고 반복 가능하게 운영할 수 있는지에서 갈릴 가능성이 크다”고 덧붙였다.