요미우리 아베 감독, 딸의 챗GPT 상담이 사임까지 이어져

폭력·자해 대화 땐 전문기관 연결하는 AI '가드레일' 작동

아베 신노스케(47) 감독 [사진=요미우리 자이언츠 소셜미디어]

일본 프로야구 최고 명문 구단 요미우리 자이언츠의 아베 신노스케 감독이 딸 폭행 혐의로 체포되고 하루 만에 사임한 사건은 아사히신문이 27일자 조간 1면에서 다룰 정도로 야구계를 넘어 일본 사회 전반에 적지 않은 충격을 줬다. 그런데 이 사건에서 또 하나 주목받은 것은 야구도, 구단도 아닌 챗GPT였다. 사건이 경찰 신고로 이어지는 과정에 챗GPT의 역할이 있었기 때문이다. 일상적인 검색과 상담에 쓰이던 생성형 인공지능(AI)이 위기 상황에서 이용자를 전문기관으로 연결하는 창구 역할을 한 것이다.

아베 전 감독의 장녀가 처음 도움을 청한 상대는 경찰이 아닌 챗GPT였다. 장녀는 챗GPT에 당시 상황을 입력해 조언을 구했고, 챗GPT가 아동상담소 상담을 권하자 장녀는 실제로 아동상담소에 연락했다. 이후 아동상담소가 경찰에 신고하면서 아베 전 감독이 현행범으로 체포됐다. 챗GPT가 직접 신고한 것은 아니지만, 위험 상황의 이용자를 외부 상담 창구로 연결하는 생성형 AI의 안전장치가 실제 사건에서 작동한 사례다.

챗GPT 등 주요 생성형 AI는 폭력·자해·가정폭력·아동학대처럼 안전과 직결된 주제의 대화에서는 자체적으로 해결책을 내놓는 대신 전문기관이나 상담 창구를 안내한다. 이 신문은 이런 대응을 AI의 안전장치, 이른바 ‘가드레일’의 하나라고 설명했다. AI가 직접 판단해 해결하지 않고, 위험 신호가 감지되면 사람이 개입할 수 있는 외부 지원망으로 넘기는 방식이다.

이 같은 설계는 생성형 AI의 한계와도 관련이 있다. AI는 이용자가 입력한 내용만을 바탕으로 답변을 만들기 때문에 실제 현장 상황을 직접 확인할 수 없다. 대화가 길어질수록 이용자의 감정에 맞춘 답변이 이어지거나, 사전에 설정한 안전 기준이 충분히 작동하지 않을 가능성도 제기된다. 닛케이는 민감한 사안에서 AI가 상담을 계속 끌고 가기보다 전문기관으로 넘기는 쪽이 더 안전하다는 판단이 깔려 있다고 설명했다.

이런 대응은 챗GPT만의 특수한 기능도 아니다. 구글의 제미나이, 앤스로픽의 클로드, 그록, 메타의 AI 등 주요 생성형 AI도 가정폭력이나 자해 위험과 관련된 질문에 비슷한 방식으로 대응한다. 폭력이나 자살 관련 대화에서 AI가 직접 '정답'을 주기보다 외부의 도움을 받을 수 있는 경로를 안내하는 방식이 업계의 일반적인 대응으로 자리 잡았다.
 

AI 안전 대책 강화

오픈AI는 이용자의 자살 문제 등을 계기로 미성년자의 이용에 대한 안전 대책을 강화해왔다. 대화 내용에서 자해 징후가 감지되면 별도 팀이 상황을 확인하고, 이용자가 타인에게 위해를 가할 가능성이 있는 급박한 상황에서는 오픈AI가 직접 경찰 등 법 집행기관에 통보하는 경우도 있다.

안전장치를 강화하는 배경에는 법적 책임 문제도 있다. 이 신문은 캐나다에서 발생한 총기 난사 사건과 관련해 용의자가 범행에 대해 AI와 대화한 사실을 파악하고도 당국에 통보하지 않았다는 이유로 오픈AI가 유족 측으로부터 제소된 사례가 있다고 전했다. 생성형 AI가 폭력·자해·범죄와 관련된 대화에서 부적절한 답변을 내놓을 경우 기업이 법적·사회적 책임을 질 가능성도 커지고 있다.

다만 AI가 모든 위기 상황을 정확히 판별할 수 있는 것은 아니다. 피해자의 주변 환경이나 가족관계, 즉각적인 위험 정도는 이용자가 입력한 내용만으로는 충분히 파악하기 어렵다. 미국 노트르담오브메릴랜드대의 티나 블룸 교수는 "가정폭력 등 피해자 지원 시 해결책과 그에 따른 결과를 함께 선택지로 제시할 필요가 있다"며 "AI는 유용한 도구가 될 수 있지만 개별 상황을 충분히 파악하지 못한다는 한계도 함께 고려해야 한다"고 닛케이에 말했다.

이번 사례는 생성형 AI가 현실의 위기 대응 체계와 맞닿기 시작했음을 보여준다. AI가 사람을 대신해 판단하거나 신고하는 단계는 아니지만, 위기에 놓인 이용자가 처음 말을 꺼내는 상대가 될 수는 있다. AI가 어디까지 개입하고 언제 사람과 기관에 넘길지, 이용자의 사생활과 안전 사이에서 어떻게 균형을 잡을지가 생성형 AI 시대의 과제로 남아 있다.