[김정래의 AI 국가론 ②] AI가 의심할 사람을 먼저 고른다

PART 1. AI와 국가의 판단

판단 → [선별] → 승인 → 불복

김정래 아주경제 전국팀장. [사진= 아주경제]

인공지능(AI)이 국가의 행정과 판단 안으로 들어오고 있다. 복지·재난·교통·민원에서 경찰·수사와 규제까지 영역도 빠르게 넓어지고 있다. '김정래의 AI 국가론'은 AI를 기술의 문제가 아닌 국가의 능력과 책임의 문제로 바라본다. 국내외 실제 사례와 데이터를 통해 AI가 행정을 얼마나 바꿀 수 있는지 검증하고, 공무원과 조직은 어떻게 달라져야 하는지 살핀다. 나아가 AI가 공권력과 국민의 관계를 어떻게 바꾸는지 짚고, 중앙정부와 지방정부가 어떤 역할을 맡아야 하는지 묻는다. 목표는 AI를 경계하는 국가가 아니라 AI를 제대로 사용할 줄 아는 국가다. [편집자주]

AI가 국민에게 직접 처분을 내리지 않아도 공권력의 일부가 될 수 있을까.

AI 시대 행정에서 주목해야 할 변화가 있다. AI가 최종 결정을 내리기 전에 누구를 조사하고, 누구의 거래를 다시 보고, 누구를 추가 검토할 것인지 먼저 골라내기 시작했다는 것이다. 최종 결정은 여전히 공무원이 한다. 그러나 그 결정에 앞서 국가가 누구를 먼저 들여다볼 것인지는 AI가 정할 수 있다. 그렇다면 사람을 골라내는 힘도 권력으로 봐야 하지 않을까.

2025~2026년 영국 정부는 복지급여 선지급 신청 130만건을 처리했다. 실제 지급된 돈은 7억파운드에 달했다. 이 가운데 누구를 한 번 더 들여다볼지 인공지능(AI)이 골랐다. 영국 노동연금부(DWP)는 저소득층과 실업자 등을 지원하는 ‘유니버설 크레디트’의 선지급 신청 가운데 사기 위험이 높은 사례를 찾아내는 데 머신러닝을 사용하고 있다. 생활비가 급한 수급자가 첫 급여를 받기 전 돈을 미리 받을 수 있도록 한 제도다.

영국 정부가 2026년 7월 공개한 자료에 따르면 사기와 오류로 잘못 지급된 것으로 추정되는 금액은 2000만~9000만파운드다. 130만건을 사람이 모두 같은 강도로 들여다볼 수는 없다. AI가 등장한 이유다. 효과는 있었다. AI는 무작위로 대상을 골랐을 때보다 사기 위험이 높은 신청을 2.5배 더 효과적으로 찾아냈다.

여기까지만 보면 성공적인 AI 행정이다. 그런데 AI가 누구를 골라냈는지를 보면 다른 문제가 보인다. 비영국 국적자는 영국 국적자보다 AI에 의해 추가 검토 대상으로 선별될 가능성이 3.35배였다. 그러나 선별된 사례가 실제 부정으로 확인될 상대가능성은 1.04배로, 통계적으로 유의한 차이가 없었다.

3.35 대 1.04. 이 숫자의 차이가 중요하다. 3.35배라는 숫자만으로 AI가 국적을 차별했다고 단정할 수는 없다. 그러나 최종 결과에서는 뚜렷한 차이가 확인되지 않았는데, 그 결과에 도달하기 전 추가 검토 대상으로 골라지는 단계에서는 상당한 차이가 나타났다.

영국 정부는 담당 공무원에게 AI가 매긴 위험점수나 AI에 의해 선별됐다는 사실을 보여주지 않았다. 그러나 AI에 의해 선별되는 것 자체가 아무런 영향을 남기지 않은 것은 아니다.

AI가 고위험으로 분류했지만 정상 신청으로 확인된 경우 지급은 자동 승인된 신청보다 중앙값 기준 하루 늦었다. DWP는 이 정도 지연이 다른 사기방지 검토에서도 나타나는 수준이라고 평가했다. 하루는 짧다. 그러나 첫 복지급여를 받기 전 생활비가 없어 선지급을 신청한 사람에게도 그럴까.

AI가 복지급여를 끊은 것은 아니다. 누구를 추가로 검토할지 골랐을 뿐이다. 그런데 그 선별만으로 일부 국민은 다른 절차를 거쳤다. AI가 먼저 사람을 골랐다. 국가는 그다음 움직였다. 국가는 과거에도 국민을 분류했다. 세무조사 대상을 선정하고, 복지 부정수급 가능성을 살피고, 범죄 위험을 분석했다. 그러나 사람이 처리할 수 있는 정보의 양에는 한계가 있었다.

AI는 그 한계를 크게 넓힌다. 수십만건, 수백만건의 데이터를 분석해 위험도가 높은 대상을 먼저 찾아낼 수 있다. 국가가 모든 국민을 똑같은 강도로 들여다볼 필요 없이 AI가 골라낸 곳에 행정력을 집중할 수 있게 된 것이다. 행정 효율성의 관점에서는 강력한 도구다.

그러나 동시에 새로운 질문을 만든다. 국가가 누구를 먼저 들여다볼 것인가를 AI가 정하기 시작했기 때문이다. 네덜란드도 비슷한 문제를 겪었다. 사회보장·세금 등의 부정행위 위험을 탐지하는 ‘시스템 리스크 인디케이션(System Risk Indication·SyRI)’은 여러 정부 데이터를 결합해 위험 대상을 가려냈다. 2020년 헤이그지방법원은 SyRI를 규율하는 법제가 유럽인권협약 제8조의 사생활 존중권에 위배된다고 판단했다. AI가 직접 처분하지 않더라도 위험 대상으로 선별되는 과정 자체가 국민에게 영향을 줄 수 있음을 보여준 사례다. 처분 이전에 선별이 있었다.

한국에서도 같은 변화가 시작되고 있다. 국토교통부는 2026년 7월 화물자동차 유가보조금 부정수급 관리에 AI를 도입하는 대책을 발표했다. 2025년 지급 대상은 약 43만대, 지급액은 1조2700억원이었다. 부정수급으로 적발된 사례는 731건, 약 5억원이었다.

정부는 2026년 6월부터 2027년 2월까지 관리시스템을 고도화한다. 과거 적발사례와 거래패턴을 AI에 학습시켜 부정수급 유형을 탐지하겠다는 것이다. 43만대의 거래를 사람이 모두 같은 방식으로 들여다보는 것은 현실적이지 않다. AI가 의심거래를 정확하게 찾아낸다면 행정비용을 줄이고 세금 누수를 막을 수 있다. 그러나 AI가 찾아낸 의심거래가 곧바로 부정수급 처분으로 이어지는 것은 아니다. 현장점검과 사실 확인 등 별도의 조사와 판단 절차가 뒤따른다.

AI를 도입하기 전 위험을 살피는 제도도 마련됐다. 2026년 8월 28일 시행된 ‘인공지능 및 데이터 기반 행정 활성화에 관한 법률’은 공공기관의 AI 활용에 대한 신뢰 기반을 강화했다. 2027년 2월 28일부터는 AI 도입 전, 국민의 기본권에 미칠 영향을 평가하고 결과를 공표하는 ‘공공분야 인공지능 영향평가’도 시행한다.

우리나라 법도 이제 AI가 최종 처분을 내렸는지만 보는 데서 나아가 AI가 국민의 기본권에 미칠 영향 자체를 사전에 살피는 단계로 이동하고 있다. 그럼에도 질문은 남는다. 43만대의 거래 가운데 무엇을 먼저 의심하고 들여다볼 것인지 AI가 가려낸다면 어떻게 볼 것인가.  AI가 직접 처분하지 않는다는 사실만으로 이 선별을 단순한 업무지원이라고 볼 수 있을까.

처분은 그 뒤에 내려지지만, 국가의 시선은 그보다 먼저 움직인다. AI 시대에 새롭게 봐야 할 것, ‘선별의 권력’이다.