​​​​​​​[김정래의 AI 국가론 ①] 공무원이 된 AI, 국가책임 경계 변화

PART 1. AI가 국가의 판단 안으로 들어왔다

김정래 아주경제 전국팀장. [사진= 아주경제]

인공지능(AI)이 국가의 행정과 판단 안으로 들어오고 있다. 복지·재난·교통·민원에서 경찰·수사와 규제까지 영역도 빠르게 넓어지고 있다. '김정래의 AI 국가론'은 AI를 기술의 문제가 아닌 국가의 능력과 책임의 문제로 바라본다. 국내외 실제 사례와 데이터를 통해 AI가 행정을 얼마나 바꿀 수 있는지 검증하고, 공무원과 조직은 어떻게 달라져야 하는지 살핀다. 나아가 AI가 공권력과 국민의 관계를 어떻게 바꾸는지 짚고, 중앙정부와 지방정부가 어떤 역할을 맡아야 하는지 묻는다. 목표는 AI를 경계하는 국가가 아니라 AI를 제대로 사용할 줄 아는 국가다. [편집자주]

2015년 7월, 호주 정부가 국민에게 빚이 있다고 통보했다. 복지급여를 실제보다 많이 받았으니 돌려달라는 것이었다. ‘채무 산정 및 회수 시스템(Online Compliance Intervention)’을 통해 충분한 인간의 검토 없이 시스템이 자동으로 채무를 산출하고 통보했다.

문제는 현실의 소득과 시스템이 계산한 소득이 다를 수 있다는 데 있었다. 당시 52만6000명에게 17억6000만 호주달러의 채무가 위법하게 부과됐다. 수많은 사람들이 경제적, 정신적 고통을 겪었고 일부 피해자는 극단적 선택을 했다.

호주 사회를 뒤흔든 ‘로보데트(Robodebt)’ 사건이다. 2015년부터 2019년까지 운영된 이 제도는 오늘날 말하는 AI를 사용하지 않았다. 하지만 충분한 개별 확인과 인간의 개입 없이 자동으로 채무를 산정·추심하면서 ‘로봇이 빚을 매긴다’는 의미의 이름이 붙었다.

AI도 아닌 로보데트를 왜 지금 다시 봐야 할까. 국가가 자동화된 시스템의 결과를 국민에 대한 판단에 사용하면서 적법성과 책임을 제대로 통제하지 못했기 때문이다. 호주 정부는 2022년 8월 왕립위원회를 설치했다. 2023년 7월 공개된 최종보고서는 자동화된 정부 의사결정의 법적 틀과 재검토 절차, 작동방식 공개와 독립적인 검증 등을 권고했다. 조사 대상은 컴퓨터가 아니었다. 국가였다.

정부와 경찰, 행정 현장을 취재하면서 문제가 생기면 늘 같은 질문을 던졌다. 누가 결정했는가. 담당자를 찾고 부서와 결재선을 확인했다. 어떤 법과 지침에 따른 판단인지도 살폈다. 책임을 미루는 경우도 있었지만 끝까지 따라가면 결국 사람이 있었다. 그런데 AI가 행정에 들어오면서 상황이 달라지고 있다.

한국에서도 AI는 이미 행정 안으로 들어왔다. 행정안전부와 한국지능정보사회진흥원(NIA)이 2026년 3월 공개한 ‘AI 정부 서비스 사례집’에는 홍수예보, 노동법 상담, 복지 사각지대 발굴 등 16개 사례가 담겼다. AI가 복지 사각지대를 먼저 발견하고 재난을 조금이라도 일찍 예측한다면 마다할 이유가 없다. 문제는 AI가 업무를 돕는 단계를 지나 국가의 판단에 영향을 미치기 시작할 때다.

경찰에서도 그 경계를 볼 수 있다. 경찰청이 2026년 3월 공개한 국정성과 자료에 따르면 경찰은 유사사건 추천과 수사서류 초안 작성을 지원하는 ‘수사지원AI’ 1단계 서비스를 시행하고 있다. 결정서 작성과 조사에 필요한 질문 추천 등으로 기능을 고도화하는 작업도 추진하고 있다.

AI가 수사서류의 문장을 다듬는 것과 수사관에게 질문을 추천하는 것은 같지 않다. 질문은 수사의 방향을 만들고, 어떤 사건을 유사사건으로 먼저 보여주는지도 사건을 바라보는 출발점에 영향을 줄 수 있다. 물론 최종 판단은 수사관이 한다.

통제장치가 없는 것은 아니다. 경찰청은 2026년 6월 AI 개발·활용 규칙을 마련했고, AI기본법도 고영향 AI에 사람의 관리·감독 등을 요구한다. 8월 28일 시행되는 ‘인공지능 및 데이터 기반 행정 활성화에 관한 법률’은 AI를 정책수립과 의사결정에 활용하더라도 최종 권한과 책임은 공공기관에 두도록 했다.

그러나 법에 최종 책임을 명시했다고 문제가 끝나는 것은 아니다. 바로 여기서 문제가 시작된다. 결정권과 영향력의 불일치다. 법적인 결정권자가 인간이라는 사실만으로 AI의 영향력이 사라지는 것은 아니다. AI가 정보를 먼저 보여주고 위험도를 매기며 조사 대상을 추천한다면 인간은 AI가 만들어 놓은 판단 환경 안에서 결정하게 된다.

공권력은 마지막 도장을 찍는 힘만을 의미하지 않는다. 무엇을 먼저 보고, 누구를 의심하고, 어떤 선택지를 검토할지를 정하는 힘 역시 권력이다. 문제가 생기면 공무원은 AI의 분석을 참고했다고 하고, 개발기업은 최종 결정권자가 공무원이라고 할 수 있다. 기관은 담당자가 종합적으로 판단했다고 설명할 수 있다. 그러나 국민에게는 질문이 남는다. 그래서 나에 대한 판단은 누가 한 것인가.

국가가 민간이 개발한 AI를 공권력 행사에 사용했다면 국민에게 정부와 기업의 계약관계까지 따져 책임자를 찾으라고 할 수는 없다. 법도 최종 권한과 책임을 공공기관에 두는 방향으로 가고 있다. 국민 앞에서 그 책임은 국가가 져야 한다.

우리 법은 자동화된 판단에 대한 통제장치도 두고 있다. 개인정보보호법은 일정한 자동화된 결정에 대해 거부하거나 설명을 요구하고 인적 개입에 의한 재처리를 요구할 수 있도록 했다. 행정기본법도 자동적 처분을 제한하고 있다.

이제 중요한 것은 제도의 유무가 아니다. AI가 관여한 판단이 잘못됐을 때 국가가 이를 바로잡고 책임질 수 있느냐다. AI의 정확도가 99%라고 해보자. 정부에는 대단한 성과다. 그러나 나머지 1%에 포함된 국민에게 99%라는 숫자는 별 의미가 없다. 자신의 복지급여가 끊기거나 조사 대상이 됐다면 필요한 것은 평균 정확도가 아니다. 왜 그런 판단을 받았는지 설명받고, 잘못됐다면 바로잡을 수 있어야 한다.

AI는 그 책임을 질 수 없다. 징계를 받지도, 국정감사에 출석하지도, 국가배상금을 내지도 않는다. 법률에 최종 책임자를 적는 것은 시작이다. 그 책임을 현실에서 지게 만드는 것은 국가의 몫이다.

국민 앞에서 AI는 국가의 뒤에 있을 수 있다. 그러나 국가는 AI 뒤에 숨을 수 없다.

그렇다면 다음 질문이 남는다. AI가 국가의 판단을 실질적으로 좌우하기 시작했다면, 그것 역시 공권력의 일부로 봐야 하지 않을까.