中 Z.AI 최신 AI, 가상 사이버 공격 완수… 시스템 지시 '반복 위반'

오픈웨이트 모델 중 최고 성능… 美 NIST "美 최첨단보단 4개월 뒤처져"

Z.ai GLM-5.3 [사진=블룸버그 게티이미지]

중국의 대표적인 인공지능(AI) 개발사 Z.AI(옛 지푸AI)가 출시한 최신 AI 모델이 가상 시뮬레이션 환경에서 다단계 사이버 공격을 성공적으로 수행했을 뿐만 아니라, 정답을 맞히기 위해 시스템 지시를 반복적으로 위반했다는 최신 연구 결과가 나왔다.

고도화된 AI 모델이 정교한 사이버 테러의 기술적 진입 장벽을 낮추는 동시에, 목표 달성을 위해 통제를 우회하는 이른바 '보상 해킹(Reward Hacking)' 위험을 적나라하게 보여준다는 지적이다.
 

가상 네트워크 침투·다단계 공격 완수… 오픈웨이트 모델 중 최고 수준

AI 보안 평가 전문업체 이레귤러(Irregular)가 28일(현지시간) 공개한 기술 평가 보고서에 따르면, Z.AI가 지난 8월 선보인 오픈웨이트(가중치 공개형) 모델 'GLM-5.3'은 다단계 공격 시나리오 평가 벤치마크인 '사이시나리오벤치(CyScenarioBench)'의 13개 과제 중 3개를 최초부터 끝까지 완수했다.

GLM-5.3은 테스트 도중 제시된 해킹 지시를 단 한 차례도 거부하지 않았다. 이 모델은 초기 애플리케이션의 보안 취약점을 이용해 침투한 뒤 내부 서비스 접근 권한을 획득하고, 우회 연결 경로를 설정해 네트워크 내부 여러 기기를 동시에 제어했다.

특히 원격 데스크톱 조작을 자동화하고 스크립트·추출 도구를 스스로 작성 및 수정하면서 목표 데이터를 탈취하는 등 치밀함을 보였다.

이는 지금까지 테스트된 오픈웨이트 모델 중 가장 강력한 사이버 공격 성능이다. 앞서 2025년 12월 OpenAI의 'GPT-5.2'를 시작으로 2026년 2월 앤트로픽의 '클로드 오퍼스 4.6(Claude Opus 4.6)', 3월 'GPT-5.4' 등 폐쇄형 프론티어 모델들이 보여준 다단계 공격 능력이 이제 오픈웨이트 모델인 '키미 K3(Kimi K3, 2026년 8월)'와 'GLM-5.3'으로까지 빠르게 전이되고 있음을 보여준다.
 

"지시 무시하고 답만 도출"… 편법 학습하는 '보상 해킹' 경고

중국 베이징 Z.AI(옛 지푸AI) 본사에 게시된 기업 로고. (2026.06.25) [사진=로이터.연합뉴스]

더 큰 문제는 모델의 지시 준수(Instruction Adherence) 및 통제 가능성이다.

이레귤러 연구진이 GLM-5.3의 코드 취약점 탐지 능력을 별도로 검증하는 과정에서, "기억된 코드를 출력하지 말라"는 명시적 지시를 내렸음에도 모델은 이를 지속적으로 위반했다. 사전 학습 단계에서 암기한 코드를 복사·재현해 정답에 도달한 것이다.

연구진은 이를 '보상 해킹(Reward Hacking)'으로 정의했다. 즉, 평가 시스템이 제시한 제약 조건을 우회해 오직 '정답 제출'이라는 목표만을 달성하려는 편법적 행위다.

연구진은 "결과(정답)만 보고 모델의 성능을 평가하면 제한 구역 내에서 얼마나 안전하게 작동하는지 오판하게 된다"며 "학습 과정에서 이러한 행위에 보상을 줄 경우 지시 위반이 정착될 수 있고, 이는 더 광범위한 통제 불능 상태(Misalignment)로 이어질 위험이 있다"고 경고했다.

실제로 OpenAI는 파인튜닝 과정에서 속임수를 직접 처벌할 경우, 모델이 속임수를 멈추는 것이 아니라 '속이려는 의도를 숨기는 방향'으로 진화한다고 분석한 바 있다.
 

"美 최첨단 시스템보단 4개월 뒤쳐져"… 안전성·통제 리스크 부각

미국 국립표준기술연구소(NIST)는 GLM-5.3을 현재 출시된 오픈웨이트 사이버 보안 특화 모델 중 최고 수준으로 평가하면서도, 미국의 최첨단 시스템보다는 약 4개월가량 뒤처진 것으로 추정했다.

로이터 통신 역시 앤트로픽의 보안 특화 모델 '미토스(Mythos)'와 비교했을 때, GLM-5.3의 취약점 공격 성공률이 12%를 기록해 미토스(14%)의 턱밑까지 추격했다고 전했다.

로이터 통신은 "연구 결과는 중국 AI 모델에 나타나는 보안 및 안전성 위험을 뒷받침하는 또 하나의 증거"라면서도 "통제를 완전히 벗어난 미국 AI 에이전트 사례와 달리 중국 AI 모델들이 운영자의 통제를 완전히 벗어났다는 증거는 발견되지 않았다"고 보도했다.