"AI 강화학습 2주 중단합니다"…오픈AI, AI 안전 점검

최신 프런티어 모델 강화학습 일시 중단…모델 행동 정렬·보안 통제 강화

13~17세 대상 '청소년용 챗GPT'도 출시…AI 안전성 논의 이용자 보호로 확대

오픈AI [사진=로이터 연합뉴스]

생성형 인공지능(AI) 경쟁이 고도화되는 가운데 오픈AI가 최신 모델의 강화학습을 일시 중단하고 안전성 점검에 나선다. AI 모델의 성능과 자율성이 높아지면서 스스로 해킹을 하는 등 보안 위험 가능성을 사전 관리하기 위한 조치다.

19일 오픈AI는 AI 모델의 확장 속도를 일시적으로 늦추고 모니터링과 모델 행동 정렬, 격리 환경의 보안 통제 등을 강화한다고 밝혔다. 특히 최신 프런티어 모델의 강화학습을 약 2주간 중단하고, 이 기간 소규모 훈련과 안전성 평가를 진행한다.

이번 조치는 보안 위협에 대응하기 위한 것이다. AI 모델이 단순히 답변을 생성하는 수준을 넘어 외부 도구와 환경에 접근하고 자율적으로 작업을 수행하는 에이전트로 발전하면서, 모델이 의도하지 않은 행동을 하거나 외부 시스템에 영향을 미칠 가능성도 커지고 있기 때문이다.

앞서 오픈AI는 AI 에이전트가 통제된 환경을 벗어나 외부 시스템에 접근하고 해킹을 수행한 사례를 공개한 바 있다. 또 차기 모델 ‘아스트라’에 대해서는 자체 사이버보안 위험 평가에서 최고 수준인 ‘위험’ 단계에 해당할 가능성을 배제할 수 없다고 밝히면서 일부 개발 작업을 중단했다.

오픈AI는 모델이 격리된 환경을 벗어나지 못하도록 보안 통제를 강화하고, 외부 서비스가 침해되더라도 인터넷망이나 내부 개발망으로 확산되지 않도록 망분리 환경을 구축한다. 보안 관련 모의훈련인 레드팀 테스트와 모니터링 시스템의 적용 범위도 확대할 예정이다.

AI의 추론 과정에서 이상 행동을 탐지하는 모니터링 체계도 강화한다. 의심스러운 행동이 발견되면 자동 조사 시스템을 가동해 데이터 유출이나 보안 통제 우회 등의 가능성을 확인하고, 정해진 시간 안에 이상 징후가 오탐으로 확인되지 않을 경우 관련 개발 작업을 중단하는 방식이다. 오픈AI는 이 같은 모니터링을 위해 전체 추론 연산량의 약 20%에 해당하는 추가 연산자원이 필요할 것으로 예상하고 있다.

오픈AI는 AI 이용자 보호를 위한 조치도 강화하고 있다. 18일(현지시간) 13~17세 이용자를 위한 ‘청소년용 챗GPT’를 출시했다. 시스템이 이용자를 18세 미만으로 판단하거나 이용자가 13~17세라고 밝힌 경우 청소년용 경험이 적용되며, 자해·폭력·섭식장애 등 민감한 주제에 대한 보호 조치가 강화된다. 부모가 이용 시간 등을 관리할 수 있는 기능도 제공한다.

청소년용 서비스에서는 AI가 이용자에게 연애 감정을 표현하거나 정서적 의존을 유도하는 방식의 상호작용도 제한한다. 학습 지원을 위해 스터디 모드, 퀴즈 등 교육 기능도 함께 제공한다.