[김정래의 AI 국가론 ④] AI가 나를 판단했다…나는 이유를 알고 다툴 수 있는가

PART 1. AI와 국가의 판단

판단 → 선별 → 승인 → [불복]

김정래 아주경제 전국팀장. [사진= 아주경제]

인공지능(AI)이 국가의 행정과 판단 안으로 들어오고 있다. 복지·재난·교통·민원에서 경찰·수사와 규제까지 영역도 빠르게 넓어지고 있다. '김정래의 AI 국가론'은 AI를 기술의 문제가 아닌 국가의 능력과 책임의 문제로 바라본다. 국내외 실제 사례와 데이터를 통해 AI가 행정을 얼마나 바꿀 수 있는지 검증하고, 공무원과 조직은 어떻게 달라져야 하는지 살핀다. 나아가 AI가 공권력과 국민의 관계를 어떻게 바꾸는지 짚고, 중앙정부와 지방정부가 어떤 역할을 맡아야 하는지 묻는다. 목표는 AI를 경계하는 국가가 아니라 AI를 제대로 사용할 줄 아는 국가다. [편집자주]

AI가 나에게 불리한 판단을 내렸다면 그 이유를 설명받을 수 있을까. 그리고 그 판단이 잘못됐다고 생각한다면 다툴 수 있을까. AI 시대에는 결과를 통보하는 것만으로 충분하지 않다. 왜 그런 판단이 내려졌는지 알고, 잘못됐다면 이의를 제기할 수 있어야 한다. 필요한 것은 ‘다툴 수 있는 설명’이다.

오스트리아의 한 여성은 휴대전화 계약을 신청했다가 거절당했다. 한 달 이용료는 10유로였다. 이유는 신용도가 충분하지 않다는 것이었다. 통신사가 이런 판단을 내린 데는 신용평가업체 던앤브래드스트리트 오스트리아(Dun & Bradstreet Austria)가 자동화된 방식으로 산출한 신용평가가 있었다. 여성은 자신의 신용도가 왜 낮게 평가됐는지 알고 싶었다. 이후 오스트리아 법원은 던앤브래드스트리트가 유럽연합(EU) 일반개인정보보호법(GDPR)을 위반했다고 확정 판단했다. 자동화된 의사결정에 사용된 논리에 관한 ‘의미 있는 정보’를 여성에게 충분히 제공하지 않았다는 이유였다.

그렇다면 어디까지 알려줘야 ‘설명’이라고 할 수 있을까. 사건은 EU 사법재판소로 넘어갔다. 2025년 2월 27일 EU 사법재판소는 던앤브래드스트리트 오스트리아 사건(C-203/22)에 대한 판결을 내렸다. 자동화된 신용평가를 받은 당사자가 자신에 관한 결정이 어떻게 내려졌는지 설명받을 수 있어야 한다고 판단했다.

중요한 것은 설명의 수준이었다. 복잡한 수학 공식이나 알고리즘을 보여주는 것만으로는 충분하지 않다고 봤다. 어떤 개인정보가 사용됐고, 그 정보가 자동화된 판단에서 어떻게 사용됐는지를 당사자가 이해할 수 있도록 설명해야 한다는 것이다. 특정 개인정보가 달랐다면 결과가 어느 정도 달라졌을지를 알려주는 것도 방법으로 제시했다.

EU 사법재판소가 요구한 것은 알고리즘 공부가 아니었다. 자신에게 내려진 판단을 이해하고 다툴 수 있는 설명이었다. 이 차이는 AI가 국가의 판단에 들어올수록 중요해진다. AI가 복지 대상자를 평가하고 위험도를 분석하거나 각종 신청을 분류한다고 해보자. 국민에게 “AI 분석 결과 위험도가 높게 나왔습니다”라고 알려주는 것은 어렵지 않다.

그러나 왜 위험도가 높게 나왔는지를 묻는 순간 문제는 달라진다. 어떤 정보가 사용됐는가. 그 정보는 정확한가. 무엇이 결과에 영향을 미쳤는가. 잘못된 정보가 사용됐다면 결과는 달라지는가. 이것을 알아야 반박도 가능하다. AI의 판단이 틀렸는데 이유를 알 수 없다면 국민은 무엇이 잘못됐는지도 알 수 없다. 무엇이 잘못됐는지 모르면 이의를 제기하기 어렵다. 설명과 이의제기가 연결되는 지점이다.

오스트리아 사건은 민간기업의 신용평가에서 벌어졌다. 그러나 국가가 AI를 사용할 때 질문은 더 무거워진다. 국가는 국민에게 세금을 부과하고 복지급여와 각종 허가 여부를 결정한다. 경우에 따라 제재도 내린다. AI가 이런 판단에 관여한다면 국가는 결과만 통보하는 것으로 충분할까.
한국에는 이미 이를 다루는 제도가 있다. 2024년 3월 15일 시행된 개인정보보호법 제37조의2는 ‘자동화된 결정’에 대한 정보주체의 권리를 규정하고 있다. 자동화된 시스템이 개인정보를 처리해 결정을 내리는 경우 정보주체는 그 결정에 대한 설명을 요구할 수 있다. 자신의 권리 또는 의무에 중대한 영향을 미치는 경우에는 일정한 요건 아래 그 결정을 거부할 수도 있다.

개인정보처리자는 정당한 사유가 없는 한 자동화된 결정을 적용하지 않거나 인적 개입에 의한 재처리, 설명 등 필요한 조치를 해야 한다. 자동화된 결정의 기준과 절차, 개인정보가 처리되는 방식도 정보주체가 쉽게 확인할 수 있도록 공개해야 한다. 법에 권리가 적혀 있다고 문제가 끝나는 것은 아니다. 어떤 수준의 설명을 해야 국민이 실제로 판단을 다툴 수 있는지가 남는다. “AI가 판단했다”는 통보와 어떤 정보 때문에 그런 결과가 나왔는지를 알려주는 설명은 전혀 다르다. 더구나 모든 AI 행정판단에 개인정보보호법 제37조의2가 그대로 적용되는 것도 아니다. 현행법은 행정기본법 제20조에 따른 행정청의 완전히 자동화된 처분을 이 조항의 ‘자동화된 결정’에서 제외하고 있다.  

정부도 문제점을 인식하고 공공분야 AI에 대한 별도의 통제장치를 마련하고 있다. 2026년 8월 28일 시행된 ‘인공지능·데이터 기반 행정 활성화에 관한 법률’은 공공기관이 AI를 정책 수립과 의사결정에 활용하더라도 그 결정에 대한 최종적인 권한과 책임은 해당 공공기관에 있음을 명시했다. 

이어 2027년 2월 28일부터는 공공기관이 AI를 도입하기 전에 국민의 기본권에 미칠 영향을 평가하고 결과를 공개하는 ‘공공분야 인공지능 영향평가’가 시행된다. 평가 항목에는 AI 의사결정 과정과 결과의 투명성, 결과의 신뢰성, 데이터와 알고리즘의 편향 가능성 등이 포함된다. 그러나 사전에 AI의 위험을 평가하는 것과 판단을 받은 국민에게 그 이유를 설명하는 것은 다른 문제다. 설명서를 공개하는 것과 나에게 내려진 판단을 설명하는 것도 다르다. 설명은 그 판단을 다툴 수 있을 때 의미가 있다.