[따로 노는 사내 AI] AI 사일로 해법으로 떠오른 '아마존 베드록'

"모델은 자유롭게, 거버넌스는 하나로"

[사진=AWS]

부서마다 제각각인 AI 사일로 문제를 해소할 기술적 대안으로 아마존웹서비스(AWS)의 완전관리형 생성형 AI 서비스 '베드록(Bedrock)'이 주목받고 있다. 단일 플랫폼 위에서 각 부서가 원하는 모델을 자유롭게 쓰면서도, 보안·데이터 기준은 전사 차원에서 통일할 수 있다는 게 핵심이다.
 
19일 AWS는 최근 베드록을 앞세워 기업 내부의 AI 사일로 해소 방안을 제시하고 있다. 베드록은 아마존을 비롯해 앤트로픽, 오픈AI, 메타, 미스트랄, 코히어, AI21랩스 등 업계 주요 파운데이션 모델을 단일 API로 제공하는 통합 플랫폼이다. 인프라 관리 없이 서버리스로 제공돼 사용량 기반 과금만 하면 되는 구조다.
 
최영준 AWS AI 기술 총괄은 "베드록은 단일 API로 다양한 파운데이션 모델에 접근하고, 지식 기반으로 흩어진 사내 지식을 통합 연결하며, 가드레일과 에이전트코어로 전사 공통의 책임 AI 정책을 일괄 적용할 수 있다"고 설명했다.
 

베드록의 핵심은 부서별 자율성과 전사 거버넌스를 동시에 확보하는 데 있다. 우선 '매니지드 지식 기반' 기능은 사내 문서, 데이터베이스, 스토리지 등에 흩어진 데이터를 연결해 검색증강생성(RAG)을 완전관리형으로 제공한다. 데이터 수집부터 청킹, 임베딩, 검색 파이프라인까지 자동화해 부서 간 정보 단절을 없애고 조직 전체가 동일한 지식 소스를 공유하도록 한다.
 
보안·책임 AI 정책도 중앙에서 일괄 적용된다. '가드레일' 기능은 콘텐츠 필터링, 개인정보(PII) 마스킹, 할루시네이션 방지를 위한 근거 확인, 프롬프트 공격 방어 등을 전사 공통 기준으로 모든 AI 애플리케이션에 적용한다. 여기에 AWS의 자격증명 관리(IAM) 체계를 결합해 누가 어떤 모델과 데이터를 쓸 수 있는지 역할 기반으로 세밀하게 통제한다.
 
에이전트 영역의 해법도 마련됐다. 베드록의 '에이전트코어'는 크루AI, 랭그래프, 라마인덱스, 구글 ADK 등 어떤 프레임워크로 개발된 에이전트든 수용하는 인프라 플랫폼이다.

△최대 8시간 세션을 지원하는 완전 격리 실행 환경 △API·람다·MCP 서버를 에이전트 호환 도구로 바꿔주는 게이트웨이 △자연어로 에이전트 행동 경계를 정의하는 정책 △13개 사전 구축 기준으로 품질을 모니터링하는 평가 기능 등을 갖췄다.

부서마다 독립적으로 에이전트를 개발하더라도 공통의 보안·모니터링·품질 관리 인프라 위에서 운영돼 거버넌스 공백 없이 전사로 확장할 수 있다는 설명이다.
 
최 총괄은 "기업이 AI 도입을 망설이면 생산성 격차가 벌어지고, 체계 없이 각 부서가 독자적으로 AI를 도입하면 모델, 데이터, 보안 기준이 파편화돼 부서 간 경계를 넘는 AI 에이전트 구현은 더욱 어려워진다"며 "각 부서의 자율적 혁신과 전사 거버넌스가 양립하는 구조, 이것이 AI 사일로의 기술적 해법"이라고 강조했다.