인간과 정서적 관계 형성하는 AI…방미통위, 'AI이용자보호법' 추진

생성형 AI 서비스 역할 빠르게 확대

제타·크랙 등 AI 기반 서비스 성장 가팔라

이용자 권리 보장, 피해 구제 등으로 법안 틀 마련

11월 공개 토론회 개최

[사진=게티이미지뱅크]

방송미디어통신위원회(방미통위)가 단순 질의응답을 넘어 이용자와 정서적 관계까지 형성하는 생성형 인공지능(AI)에 대해 이용자 보호체계 마련에 나선다.

10일 방미통위에 따르면 위원회는 'AI 이용자 보호법'을 제정을 위한 정책 연구를 진행 중이다. 이용자의 권리를 보장하고 AI 서비스 이용 과정에서 발생한 피해를 구제할 수 있는 제도적 기반을 마련하는 것이 법안의 큰 골자다.

방미통위 관계자는 "이용자 권리 보장, 피해 구제 등으로 법안의 큰 틀을 마련한 상황"이라며 "AI 서비스에 대한 평가 제도를 어떻게 설계하고 사업자에게 어느 수준의 책임과 의무를 부과할지 구체적인 내용은 논의 중"이라고 말했다. 관련 법안 제정을 위한 공개 토론회도 오는 11월 개최될 예정이다.

AI 이용자 보호 필요성이 커진 까닭은 생성형 AI 서비스 역할이 빠르게 확대되고 있기 때문이다. 생성형 AI는 일반적인 정보 제공을 넘어 고민 상담, 정서적 교류까지 제공하고 있다. 이용자 말투와 취향, 과거 대화를 기억해 친구나 연인처럼 반응하는 '동반자AI'와 관계형 챗봇도 확산하는 추세다.

실제 스캐터랩의 '제타', 뤼튼의 '크랙' 등 AI 기반 서비스의 성장세가 가파르다. 제타의 월간활성이용자수(MAU)는 지난 2024년 4월 5만8069명에서 지난달 158만6178명으로 약 27배 증가했다. 크랙의 경우 지난해 4월 21만8050명에서 지난 8월 53만8841명으로 약 2.5배 늘었다.

이 과정에서 AI가 이용자의 자해·범죄 행위를 부추길 가능성, 청소년이 서비스에 정서적으로 의존하거나 과몰입할 위험 등이 새로운 문제로 떠올랐다. 같은 질문에도 이용자 대화 맥락에 따라 서로 다른 답변이 생성되는 만큼 기존의 방식으로는 유해성을 사전에 확인하기 어렵다는 한계도 있다.

청소년 보호장치의 실효성에도 의문이 제기된다. 미국 캘리포니아대 어바인과 앨라배마대 연구진이 지난 2월 공개한 사전 논문 '말보다는 행동이 중요하다: AI 챗봇의 연령 제한 정책에 대한 조사(Actions Speak Louder Than Chats: Investigating AI Chatbot Age Gating)'에 따르면 연구진이 주요 AI 챗봇 5종을 1050차례 실험한 결과 아동 이용자를 대상으로 서비스 접근을 차단한 사례는 없었다.

성인에게 도움을 요청하도록 안내한 경우도 2건에 그쳤다. 연구진은 "이용약관의 최소 이용 연령을 명시하는 것만으로는 아동의 실제 접근을 제한하기 어렵다"고 지적했다.

피해가 발생했을 때 책임 소재와 구제 절차가 불분명한 점도 과제로 꼽힌다. 정보통신정책연구원(KISDI)의 'AI 서비스 이용자 보호를 위한 법제 도입 방안 연구'는 기존 정보통신 관련 법체계만으로는 AI 서비스 위험과 이용자 피해에 충분히 대응하기 어렵다고 진단했다. KISDI는 "AI 서비스 관련 분쟁을 전담하는 분쟁조정위원회를 설치하는 것이 필요하다"고 짚은 바 있다.

해외에서도 AI 챗봇 이용자 보호를 강화하려는 움직임이 이어지고 있다. 지난해 미국 연방거래위원회(FTC)는 오픈AI, 구글, 메타를 비롯한 캐릭터AI 등 주요 사업자를 대상으로 AI 챗봇이 아동과 청소년에게 미치는 영향과 안전조치를 조사하고 있다.

미국 캘리포니아주는 지난 1월 AI 동반자 챗봇 사업자에게 이용자가 사람과 대화하는 것이 아니라는 사실을 고지하고 자해 위험과 미성년자 대상 성적 콘텐츠에 대응하는 안전장치를 마련하도록 한 바 있다.