AX에 실패하는 기업들..."도입 넘어 운영 재설계가 필수"

PoC 성공해도 현장선 '무용지물'...HWP도 韓 기업 장벽으로

운영 재설계한 기업들, 비용·생산성서 '압도적 격차'

AI로 만든 이미지 [사진=MS코파일럿]

국내 기업들의 인공지능전환(AX) 시도가 잇따르고 있지만, 상당수가 도입 단계에서 멈추며 실질적 성과를 내지 못하고 있다. 실패 사례 대부분이 단순 도구로 도입한 경우여서 업무 프로세스 자체를 AI 중심으로 재설계해야 한다는 지적이 나온다.
 
11일 한국인공지능·소프트웨어산업협회(KOSA)에 따르면 국내 제조업의 인공지능(AI) 활용률이 17.9% 수준에 머물고 있는 것으로 나타났다. AI를 도입하지 못하는 가장 큰 원인은 'AI 도입 영역과 공정 파악의 어려움'(41.6%) 때문으로 손꼽힌다.
 
초거대AI추진협의회가 최근 발간한 'AX 사례집'에 따르면 AX 실패 원인은 크게 4가지로 분석됐다. △책임 소재(R&R) 불명확 △운영 모니터링 부재 △현장 데이터 편차 미대응 △거버넌스 부재로 인한 도입 자체의 가로막힘이다.
 

개념검증(PoC)에서는 문제 없지만 실제 운영 단계에서 책임 소재가 불명확해 현장의 신뢰를 얻지 못하고 사장되는 경우가 반복된다는 것이다. 보고서는 "PoC는 스냅샷이지만, 실증은 사계절"이라는 표현으로 이를 압축한다. 한 시점의 테스트 성공이 계절·설비·환경이 바뀌는 실제 운영을 보장하지 않는다는 의미다.
 
한국 기업 환경 특유의 실패 요인도 지목된다. 지식·사무 분야 A사 사례에서 엔지니어는 "현장에선 AI가 글을 못 써서 막히는 게 아니었다. AI가 읽을 재료가 HWP로 들어오는 순간, 프로젝트의 절반은 생성이 아니라 입력 처리가 된다"고 지적했다. HWP를 한국어가 아닌 파일 포맷으로 인식하고 초기에 파싱 파이프라인을 설계하지 않으면 운영 비용이 계속 상승한다는 경고다. 공공기관 문서가 대부분 HWP 형식인 한국 기업 환경에서 AI 도입의 첫 번째 장벽이 모델이 아니라 입력 포맷에 있다는 현실적 지적이다.
 
무역·물류 분야에서도 유사한 패턴이 관찰된다. 래블업과 팀리부뜨의 공동 프로젝트 사례에서는 "PDF가 얌전히 텍스트일 것이라 믿지 마세요"라는 엔지니어 노트가 등장한다. 비정형 문서 자동화는 구조화·검증·추천의 3단계가 동시에 설계되어야 품질이 나오는데, 추출 필드가 흔들리면 이후 추천 신뢰도가 완전히 무너진다는 것이다.
 
반면 업무 프로세스를 재설계한 기업들의 성과는 뚜렷하다. B사는 AI 에이전트 도입 후 FTE(전일제 환산 인력) 투입을 최대 73% 줄이고 사내 AI 생산성 지수를 35% 끌어올렸다. 래블업·팀리부뜨는 문서 작업 시간을 평균 60% 이상 단축했으며, 인간 검수 루프를 포함한 최종 검증 단계에서 HS Code 분류 정확도 99.2%를 달성했다.
 
AI 인프라 최적화 사례에서는 GPU 학습 비용을 AWS 온디맨드 대비 약 80% 절감하고 개발 생산성을 3배 수준으로 높였으며, GPU 가동률은 20%에서 85% 이상으로 끌어올렸다.
 
AX 성공의 기준은 모델 정확도가 아닌 배포 이후 운영 설계 완성도에서 갈린다는 분석도 나왔다. △모니터링 체계 △장애 대응 절차 △사용자 교육 △R&R 표준화가 실질적 비즈니스 성과로 이어진다는 것이다. 성공 기업들이 공통적으로 적용한 설계 패턴은 다섯 가지로 요약된다. △업무 분해·에이전트 위임 △비정형 데이터 자산화 △실시간 엣지 분석 △최적화 △보안·거버넌스 내재화다.
 
초거대AI추진협의회는 사례집을 통해 AI 도입 자체보다 도입 이후의 운영 설계, 책임 체계, 거버넌스 구축이 AX의 실질적 성패를 가른다는 결론을 내놨다.