AI 대화록서 개인정보 무더기 발견...콜센터·사내챗봇 비상

앤스로픽·오픈AI·구글 API 구조적 결함…공개 저장소서 추론블록 31만개 복호화

콜센터·사내챗봇 국내 기업도 세션 로그 관리 따라 노출 위험

[사진=게티이미지뱅크]

앤스로픽·오픈AI·구글의 API로 콜센터·사내 업무 자동화 등 AI 서비스를 구축한 기업의 추론 로그를 통해 개인정보가 유출될 수 있다는 연구 결과가 나왔다.
 
12일 허깅페이스에 게시된 논문 '독점 LLM API에서 추론 흔적 훔치기'에 따르면 앤스로픽·오픈AI·구글 3사의 프론티어 모델이 클라이언트에 돌려주는 '암호화 추론' 블록에서 구조적 결함을 발견됐다.
 
암호화 추론이란 AI 모델이 최종 답변을 내놓기 전 내부적으로 거치는 사고 과정을 원문 그대로 노출하지 않고 암호화한 형태로 클라이언트에 전달하는 방식이다. 경쟁사가 이 과정을 들여다보고 자사 모델을 훈련(증류)시키는 것을 막고, 안전장치를 우회하는 사고 과정이 사용자에게 그대로 노출되는 것을 방지하려는 취지로 3사 모두 도입했다.
 

문제는 이 암호화 블록이 같은 AI 모델에서 상호 호환된다는 데 있다. 상위 모델이 암호화한 블록을 하위 모델에서 해제를 요청하면 평문으로 풀어준다. 논문은 앤스로픽의 클로드 오푸스 4.8이 생성한 암호화 블록을 상대적으로 약한 클로드 하이쿠 4.5로 풀어낸 실험으로 이를 입증했다. 오픈AI의 GPT 계열, 구글의 제미나이 계열에서도 동일한 구조적 결함이 확인됐다. 
 
연구진은 공개 저장소에 올라온 실제 에이전트 작동 기록 6708건에서 추론 블록 31만5320개의 암호를 해제했다. 여기에서 개인정보(PII) 367건과 API 키·비밀번호 등 인증정보 182건을 확인할 수 있었다. 공개 저장소에 떠 있는 로그에서 실제로 추출된 데이터라는 점에서 파장이 예상된다.
 
3사의 API를 도입한 국내 기업도 개인정보 유출 위험에 노출될 수 있다. 국내 AI 서비스 기업 다수는 앤스로픽·오픈AI·구글의 API를 콜센터 상담, 사내 업무 자동화 등에 연동해 활용하고 있다. 

삼성전자는 챗GPT 기반의 API를 소프트웨어 개발·제품 개발·마케팅 등 업무 전반에 도입하고 있다. LG전자·LG CNS·삼성SDS·크래프톤·토스 등도 챗GPT 기반의 API를 사내 업무 자동화에 활용하고 있다. 신한은행 등 금융권도 AI컨택센터(AICC)로 콜센터 상담을 자동화하는 추세다.
 
특히 대화 맥락을 유지해야 하는 멀티턴 챗봇이나 여러 단계를 거쳐 작업을 수행하는 에이전트형 서비스는 구조상 암호화 추론 블록을 세션마다 주고받을 수밖에 없어, 이번 취약점에 크게 노출됐다. 세션 로그 저장·공유 여부에 대한 점검과 함께, 관련 부처의 대응 방안 마련이 필요하다는 지적이 나온다.