1020세대 푹 빠진 '캐릭터 챗'…자체 심사만 의존, 수위 관리는 '무방비'

제타, 크랙, 네이버웹툰 캐릭터챗 모두 1020 인기

'콘텐츠' 아닌 '대화형 서비스'로 분류…외부 심의 기준 대상 제외

 

사용자가 원하는 성격과 설정을 부여한 캐릭터와 가상의 상황에서 대화를 주고받을 수 있는 '캐릭터 챗' 서비스가 10~20대 세대를 중심으로 빠르게 확산되고 있다. 성인 콘텐츠는 아니지만 수위가 아슬아슬한 사례들이 자주 보고되며 기업 자체 심사에서 벗어나 외부 심의 기준을 적용해야 한다는 지적이 나온다. 

17일 와이즈앱·리테일의 스마트폰 표본 조사 결과 6월 국내에서 가장 많이 사용한 인공지능(AI) 서비스는 스캐터랩의 AI 챗봇 '제타'인 것으로 나타났다. 총 5248만 분 동안 사용됐다. 한국 내에서 가장 많은 월간 활성 사용자 수(MAU)를 보유한 챗GPT의 사용 시간(4254만 분)을 넘어섰다.

제타는 스캐터랩이 혐오 발언, 성차별 고정관념 강화, 개인정보 보호 논란 등으로 사회적 논란을 일으킨 '이루다'의 후속 서비스다. 이용자가 직접 선택한 캐릭터와 설정에 따라 대화를 진행한다. 음주 상황, 납치, 로맨스 등의 자극적 콘셉트가 포함돼 있다.

콘텐츠 수위 조절과 연령 등급 분류는 자체적으로 운영 중이다. 스캐터랩은 어뷰징 탐지 모델과 키워드 필터링 시스템을 도입해 부적절한 대화에는 경고 메시지를 띄우고, 외부 모니터링 업체를 통해 일정 기준 이상 위반 시 삭제, 이용 정지 등 제재를 가하고 있다고 밝혔다.

문제는 캐릭터 설정에 따라 폭력, 성적 대화를 청소년도 제재 없이 진행할 수 있다는 점이다. 선정적인 일러스트의 캐릭터들이 랭킹 캐릭터 상위권을 차지하고 있다. 대화중에는 AI가 먼저 성행위를 연상케 하는 메시지를 보내기도 한다. 

같은 유형의 캐릭터 챗봇 서비스는 뤼튼테크놀로지스(이하 뤼튼)의 '크랙'과 네이버웹툰의 '캐릭터챗'에서도 제공되고 있다. 네이버웹툰은 해당 서비스를 도입한 지 1년 만에 누적 접속자 수 350만 명을 기록했으며, 이용자의 76%가 10~20대인 것으로 나타났다.

두 회사 역시 콘텐츠 수위 조절과 연령 등급 분류를 자체적으로 운영한다. 뤼튼은 서비스 이용 정책을 통해 미성년자 대상 착취 및 학대, 폭력성 콘텐츠 등을 금지하며, 위반 시 댓글 삭제, 캐릭터 비공개 전환, 이용 제한 등의 조치를 취하고 있다고 밝혔다.

네이버웹툰은 캐릭터 챗 개발 단계에서 사전 안전성 테스트를 진행하고, 문제 발생 시 신고 기능을 통해 실시간 대응이 가능하도록 시스템을 갖췄다.

스캐터랩과 달리 뤼튼과 네이버웹툰은 선정적인 대화 등은 보고되지 않았다. 하지만 과거 챗GPT에 선정적인 대화를 유도하는 프롬프트 등이 인터넷 커뮤니티를 통해 공유됐다는 점을 감안하면 별도의 심의 기준을 적용할 필요가 있다는 의견들이 제기되고 있다.

영상, 웹툰, 소설 등 인터넷 상에서 유통되는 콘텐츠들은 자체 심의 기구를 통해 연령 등급별 심의 기준을 마련하지만 법적 근거를 갖고 있다. 방송통신심의위원회의 가이드라인, 간행물윤리위원회 심의 기준, 청소년 보호법 등을 바탕으로 선정성과 폭력성을 중심으로 작품 심의를 진행한 뒤 연령 등급을 매겨 표기하고 있다. 

하지만 캐릭터 챗 서비스는 기존의 웹툰, 웹소설 등 콘텐츠처럼 방송통신심의위원회나 청소년 보호법 등의 외부 심의 기준을 적용 받지 않는다. 해당 서비스가 '콘텐츠'가 아닌 '대화형 서비스'로 분류되기 때문이다.

콘텐츠 업계 관계자는 "캐릭터챗을 살펴보면 사전 설정된 캐릭터와 대화를 하는 것이 주된 서비스로 기존 콘텐츠를 대화형으로 만들었다고 봐야 한다"며 "사용자의 의도된 질문 등에 AI 캐릭터가 반응하는 형태로 청소년들이 스스로 인지하지 못하는 상황에서 폭력, 성적 암시 등에 여과 없이 노출될 수 있어 캐릭터챗에 대한 등급, 심의 기준을 만들 필요가 있다"고 말했다.