[AI챗봇 과몰입, 법으로 규제] 캐릭터와 서사 입은 AI, 항상 나에게 공감..."가스라이팅 위험 높아"

시장 성장세 가팔라…2032년 약 6조6600억원 전망
법 개정시 사업자에도 이득…"규제 불확실성 줄일 것"

인공지능(AI) 챗봇이 정보를 제공하는 도구에서 이용자와 관계를 맺는 '동반자'로 진화하며 과도한 공감과 동조가 청소년들의 판단과 인지 형성에 악영향을 주는 사례까지 발생하고 있다. 청소년들의 과몰입을 막고 현실을 도외시하고 가상의 존재(AI)에게 의존하는 행태를 막기 위해 국회가 입법에 나선 배경이다.

1일 국회입법조사처, 스탠퍼드 대학교 등 국내외 AI 챗봇 관련 연구에 따르면 AI가 이용자 말에 지나치게 동조하거나 칭찬을 통해 공감하는 'AI 아첨' 현상이 짧게는 중독 더 나아가서는 일종의 '가스라이팅'으로 이어질 수 있다는 지적이 나오고 있다.

국내외 서비스 중인 주요 AI 챗봇 대부분은 유료로 서비스되고 있다. 현실 속에서 찾아보기 어려운 웹툰, 웹소설의 주인공과의 대화를 비롯해 비현실적인 성격을 가진 캐릭터들이 많다. 주어진 문제를 가장 합리적으로 해결하기 위한 알고리즘으로 설계된 AI 특성상 이용자에게 동조하거나 공감하는 경우가 대부분이다.

문제는 이용자의 체류 시간과 결제액이 수익으로 이어진다는 점이다. 일각에서는 사업자가 AI를 대화가 끊기지 않도록 설계하거나 이용자 말에 적극적으로 공감하도록 유도할 가능성도 존재한다고 본다.

관련기사

가치관과 인지 능력이 형성되는 아동·청소년의 경우 이런 영향이 더 취약할 수 있다. AI가 이용자 관점만 옳다고 반복 확인할 경우 왜곡된 판단까지 강화할 수 있다. 심할 경우 현실 인식을 흔드는 일종의 '가스라이팅'으로 이어질 수 있다.

국회입법조사처에 따르면 국내 아동·청소년의 94.4%가 AI 챗봇을 이용한 경험이 있었다. 이 가운데 75.3%는 챗봇의 답변을 실제 행동으로 옮기거나 진지하게 고려한 적이 있다고 답했다.

진민정 한국언론진흥재단 책임연구위원은 "청소년들에게 가장 우려되는 부분은 '판단의 외주화'"라며 "특히 인지와 가치관이 형성되는 청소년기에 AI가 이용자의 판단에 지속해 개입하면 독립적으로 사고할 수 있는 영역이 줄어들 우려가 있다"고 지적했다.

이어 "이용자가 답을 얻기 위해 고민할 필요가 없는 방식이 반복되면 AI가 제시한 결과를 별도 검증 없이 수용하게 될 가능성이 커진다"고 덧붙였다.

시장조사 업체 센서타워에 따르면 AI 챗봇을 뜻하는 'AI 컴패니언' 시장의 지난 1분기 인앱결제 수익은 1억5000만 달러(약 2235억원)다. 지난 2023년 1분기에 비해 약 12배 성장했다. 글로벌 시장조사업체 프레시던스리서치는 세계 AI 챗봇 시장이 지난 2022년 8억4000만 달러(약 1조1415억원)에서 연평균 19.29% 성장해 오는 2032년 49억 달러(약 6조6600억원)에 이를 것으로 전망했다.

국내 이용자도 빠르게 늘고 있다. 모바일인덱스에 따르면 스캐터랩 '제타'의 월간활성이용자수(MAU)는 지난 2024년 5만8069명에서 지난 8월 158만6178명으로 약 27배 늘어났다. 뤼튼이 서비스 하는 '크랙'의 경우 지난해 4월 21만8010명에서 지난 8월 53만8841명으로 약 2.5배 증가했다.

네이버웹툰 역시 웹툰 속 인물과 대화하는 '캐릭터챗'을 운영하고 있다. 게임업계도 이용자와 실시간으로 대화하고 상황에 따라 행동하는 AI 캐릭터 등의 도입을 확대하는 추세다.

관련 업계는 AI의 편향성과 유해 콘텐츠를 줄이기 위한 보호장치를 마련하고 있다. 뤼튼은 청소년 이용자들의 AI 대화 시간을 하루 3시간으로 제한하고 월 결제 한도를 정하는 등 자체 보호장치를 마련했다. AI 윤리, 심리, 법학 등 각계 전문가로 구성된 전문가 위원회도 운영중이다.

스캐터랩은 이용자가 만든 캐릭터와 콘텐츠를 대상으로 자동 필터링, 생성 제한, 모니터링을 함께 적용 중이다. 네이버웹툰 역시 캐릭터챗 출시 전 AI 모델이 편향성을 갖는지 평가하는 '바이어스 테스트'를 진행하고 있다.

다만 사업자마다 보호 기준과 조치 수준이 달라 청소년 보호를 자율규제에만 맡기기에는 한계가 있었다. 때문에 이번 법 개정 추진을 통해 사업자가 지켜야할 기준이 명확해지면서 오히려 산업의 불확실성을 줄일 수 있다는 평가도 나온다.

최경진 가천대 법학과 교수는 "현재는 사업자가 어떤 보호조치를 어느 수준까지 마련해야 하는지 불분명한 측면이 있다"며 "법으로 기준을 명확하게 정하면 사업자도 이에 맞춰 서비스를 설계할 수 있다"고 짚었다. 이어 "AI 서비스에서는 이용자 신뢰를 확보하는 것이 중요하다"며 "사업자가 자율적으로 마련해야 할 최소한의 보호조치를 법으로 일찍 제시하면 규제 불확실성을 줄이고 이용자 신뢰를 높이는 데 도움이 될 것"이라고 말했다.