대신 결제하고 메일 보내는 AI…"위임부터 복구까지 안전장치 필요"

방미통위·KISDI '2026 AI서비스 이용자 보호 컨퍼런스' 열어

에이전트 자동화 범위 넓어져…취소·복구 범위 넓혀야

[사진=나선혜 기자]

최근 메타 '뮤즈', 오픈AI '닷츠'와 같은 인공지능(AI) 에이전트 서비스가 등장하면서 이용자 보호와 초점의 권한이 AI 답변 뿐 아니라 실제 행동과 권한 통제로 확대해야 한다는 의견이 나왔다.

12일 서울 중구 포스트타워에서는 방송미디어통신위원회(방미통위)와 정보통신정책연구원(KISDI)가 주최한 '2026 AI서비스 이용자 보호 컨퍼런스'가 열렸다. 기조발제를 맡은 이상근 고려대 교수는 "에이전트 시대 이용자 보호를 위해서는 에이전트 서비스 권한 위임부터 복구까지 전 과정에 안전 장치가 들어가야 한다"고 말했다. 

이 교수는 AI 에이전트 서비스의 위험을 △외부 공격에 조종당한 에이전트 △목표 달성 과정에서 스스로 선을 넘는 에이전트 △허술하게 위임된 에이전트 등 총 3가지로 나눴다. 

이 교수는 "특히 외부 공격 위험은 민감한 데이터 접근권한·신뢰할 수 없는 외부 입력·외부 통신 능력이 결합할 때 커진다"며 "세 요소가 동시에 결합하지 않도록 통제해야 한다"고 설명했다. 

이에 따라 이용자 보호를 위해서는 위임부터 복구까지 전 과정에 안전장치가 필요하다고 짚었다. 

우선 권한을 위임할 때는 에이전트가 누구를 대신하고 이용자가 어떤 행동까지 허용했는지 확인할 수 있어야 한다고 봤다. 이 교수는 "'결제에서는 거래 주체가 에이전트다'라는 표시 등이 필요하다"고 언급했다. 

행동을 감시하는 AI 모델은 업무를 실행하는 모델과 분리해야 한다고 제언했다. 감시 AI도 오류를 낼 수 잇는 만큼 권한 제한 등 구조적 안전장치를 적용해야 한다는 설명이다. 

사람의 확인 절차는 행동의 위험에 따라 달리 적용할 필요가 있다고 분석했다. 모든 행동마다 승인을 받으면 자동화의 효율이 떨어지기 때문이다. 이 교수는 "공개 데이터 만 사용해야 한다"며 "결제·외부 이메일 발송·금융 및 의료 민간 정보 처리 등 피해가 큰 행동에는 사람의 확인이 필요하다"고 이야기했다. 

취소·복구 범위도 넓혀야 한다고 강조했다. 여러 에이전트가 작용하면서 사람 승인 없이 실행하는 거래가 늘어난다는 이유에서다. 

기조 발제를 맡은 박태웅 국가AI전략위원회 공공AX 분과장은 AI 에이전트 서비스의 이용자 피해 영역을 △정보 피해 △관계 피해 △거래 피해 △데이터·보안 피해 △위임 피해 △구제 피해 등 6가지 영역으로 나눴다. 허위정보나 개인정보 유출뿐 아니라 위임 범위를 벗어난 행동, 피해 구제 절차의 부재와 지연까지 보호 범위에 포함해야 한다는 설명이다.

박 분과장은 이용자 보호를 위한 법과 제도가 특정 기술을 지정하기보다 달성해야 할 안전 수준을 정하고, 사업자가 결과에 책임지도록 해야 한다고 주장했다. 그는 "AI임을 알렸으니 책임이 없다거나 이용자가 확인을 눌렀으니 책임이 없다는 구조여서는 안 된다"고 지적했다.

이와 함꼐 에이전트의 신원과 권한, 책임 주체를 확인할 규칙을 마련해야 한다고 강조했다. 누가 에이전트를 운영·관리하는지 확인하고, 위임 범위를 벗어난 행동을 즉시 인지해 중단할 수 있어야 한다는 것이다.

박 분과장은 "이용자의 명시적 지시를 벗어난 거래가 발생했을 때는 에이전트 제공자와 결제사업자가 1차적으로 책임지는 구조가 돼야 한다"고 말했다.