[김정래의 AI 국가론 ③] AI 시대 승인…공무원은 실제로 판단했는가

PART 1. AI와 국가의 판단

판단 → 선별 → [승인] → 불복

김정래 아주경제 전국팀장. [사진= 아주경제]

인공지능(AI)이 국가의 행정과 판단 안으로 들어오고 있다. 복지·재난·교통·민원에서 경찰·수사와 규제까지 영역도 빠르게 넓어지고 있다. '김정래의 AI 국가론'은 AI를 기술의 문제가 아닌 국가의 능력과 책임의 문제로 바라본다. 국내외 실제 사례와 데이터를 통해 AI가 행정을 얼마나 바꿀 수 있는지 검증하고, 공무원과 조직은 어떻게 달라져야 하는지 살핀다. 나아가 AI가 공권력과 국민의 관계를 어떻게 바꾸는지 짚고, 중앙정부와 지방정부가 어떤 역할을 맡아야 하는지 묻는다. 목표는 AI를 경계하는 국가가 아니라 AI를 제대로 사용할 줄 아는 국가다. [편집자주]

AI가 복지 대상자를 추천했다. 공무원이 이를 확인하고 결재했다. 정부는 최종 결정은 사람이 했다고 설명한다. 그런데 그 공무원이 AI의 판단 근거를 실제로 확인했는지, 다른 자료와 비교했는지, AI의 추천을 거부할 수 있었는지는 어떻게 알 수 있을까.

결재 기록에는 공무원의 이름이 남는다. 판단했다는 증거는 무엇으로 남길 것인가. AI 시대의 인간 감독은 여기서 출발해야 한다.

캐나다 정부는 이 문제를 비교적 일찍 제도 안으로 끌어들였다. 2019년 4월 ‘자동화된 의사결정에 관한 지침(Directive on Automated Decision-Making)’을 시행했다. 2020년 4월 이후 개발하거나 구매한 연방정부의 자동화 의사결정 시스템에 적용한다.

중요한 것은 적용 기준이다. AI가 최종 결정을 내렸느냐만 따지지 않는다. 국민의 권리나 이익에 영향을 미치는 행정판단에 자동화 시스템이 얼마나 관여하는지도 본다.

AI가 허가나 복지급여 신청을 평가하거나 조사 착수에 영향을 미치는 경우가 그렇다. 최종 결정은 공무원이 하더라도 AI가 평가나 추천, 점수 등을 제공해 판단에 영향을 미친다면 관리 대상이 될 수 있다.

캐나다 정부는 여기에 숫자를 붙였다. 자동화 시스템을 행정판단에 사용하기 전 ‘알고리즘 영향평가(Algorithmic Impact Assessment·AIA)’를 실시한다. 65개의 위험 질문과 41개의 위험완화 질문에 답하고 결과에 따라 국민에게 미칠 영향을 1단계부터 4단계까지 나눈다. 영향이 클수록 요구되는 통제도 강해진다.

하지만 여기서도 질문은 남는다. 시스템의 위험을 사전에 평가하는 것과 실제 행정 현장에서 공무원이 AI를 제대로 검토했다는 것을 확인하는 것은 다른 문제다.

한국도 제도적 경계를 만들고 있다. 행정안전부는 2026년 7월 ‘AI 정부 실험실’ 시범운영을 시작했다. 공무원이 자신의 업무에 필요한 AI 도구를 직접 개발하고 다른 기관과 공유할 수 있도록 개발환경 등을 제공하는 사업이다. 공개된 사례에는 여러 기관의 자료를 자동으로 수집해 보고자료를 현행화하거나 여비 정산을 자동화하는 도구 등이 포함됐다.

이런 반복 업무는 오히려 AI에 적극적으로 맡길 필요가 있다. 문제는 AI가 자료를 정리하는 단계를 넘어 사람과 사건을 평가하기 시작할 때다. AI기본법은 고영향 AI에 대해 위험관리와 사람의 관리·감독 등 안전장치를 두고 있다. 2026년 8월 시행된 ‘인공지능 및 데이터 기반 행정 활성화에 관한 법률’도 공공기관이 AI를 정책수립과 의사결정에 활용하더라도 최종 권한과 책임은 공공기관에 있다는 원칙을 두고 있다.

2027년 2월부터는 ‘공공분야 인공지능 영향평가’도 시행된다. 공공기관이 AI를 도입하기 전 국민의 기본권에 미칠 영향을 평가하고 결과를 공개하는 제도다. 법 시행 당시 이미 AI를 도입·활용하고 있던 공공기관은 2028년 8월까지 영향평가를 실시하고 결과를 공개해야 한다.

제도는 만들어지고 있다. 그러나 ‘최종 판단은 사람이 한다’는 원칙만으로 실제 인간의 판단까지 증명되는 것은 아니다.

AI가 어떤 사람의 위험도를 높게 평가했다고 해보자. 공무원이 이를 승인했다. 이 기록만으로는 공무원이 근거자료를 직접 확인하고 같은 결론에 도달했는지, AI의 결과를 그대로 받아들였는지 알 수 없다. 업무가 몰려 사실상 자동으로 승인했을 가능성도 구별하기 어렵다.

결재 기록은 모두 똑같이 ‘인간 승인’으로 남을 수 있다. 그래서 필요한 것이 판단의 흔적이다. 

영국 정보위원회(ICO)는 AI를 활용한 의사결정에서 인간의 개입이 의미 있으려면 단순히 사람이 절차에 포함되는 것만으로는 부족하다고 본다. 검토자는 AI가 제시한 결과를 이해하고 비판적으로 검토할 수 있어야 한다. AI의 결과를 그대로 받아들이지 않고 필요하면 다른 결정을 내릴 수 있는 권한도 가져야 한다.

업무환경도 중요하다. 검토자가 AI의 결과를 살펴볼 충분한 시간과 정보를 갖고 있어야 한다. AI의 결정을 뒤집은 경우에는 그 판단과 이유를 기록하는 방식도 요구된다.

이 기준을 행정에 적용하면 인간의 판단을 확인하는 방법은 보다 구체적이 된다. 공무원이 AI의 판단 근거를 확인할 수 있었는가. AI와 다른 결정을 내릴 권한이 있었는가. 이를 검토할 시간과 정보가 실제로 주어졌는가. 그리고 AI의 추천을 받아들이거나 변경한 과정이 기록으로 남았는가.

특히 기록이 중요하다. AI가 무엇을 추천했고 공무원이 어떤 자료를 확인했으며 최종적으로 어떤 결정을 내렸는지가 남아야 한다. AI의 판단과 다른 결정을 내렸다면 그 이유도 확인할 수 있어야 한다.

그렇다고 공무원이 AI의 판단을 얼마나 자주 뒤집었는지만으로 인간 감독의 실효성을 판단할 수는 없다. AI의 판단이 실제로 정확했을 수도 있다. 중요한 것은 결과가 같았느냐가 아니라 공무원이 독립적으로 검토하고 다른 판단을 내릴 수 있는 조건이 실제로 존재했느냐다.

이 기록은 사후 감사와 영향평가에서도 활용할 수 있다. 특정 AI의 추천이 장기간 거의 그대로 승인됐다면 왜 그런 결과가 나타났는지 들여다볼 수 있다. 공무원이 충분히 검토한 결과인지, 업무 구조가 AI의 추천을 사실상 추인하도록 만들어져 있었는지 확인할 근거가 생긴다.

따라서 국민의 권리와 의무에 영향을 미치는 AI를 행정에 사용할 때는 인간을 결재선에 두는 것만으로 끝내서는 안 된다. AI의 판단 근거에 대한 접근, 독립적인 검토, 변경 권한, 판단 과정의 기록까지 업무 절차 안에 설계할 필요가 있다.

그래야 사후에 남는 것이 공무원의 이름만이 아니라 그 공무원이 실제로 판단했다는 기록이 된다.