"쉬운 곳 1년보다 강남에서 한 달"…카카오모빌리티, '희소 데이터'로 자율주행 AI 키운다

연내 E2E 모델 도입 목표…센서 입력부터 차량 제어까지 AI로 통합

데이터 양보다 '어려운 데이터' 선별…AI 기반 데이터 파이프라인 구축

카카오T 호출·배차에 24시간 관제 결합…무인 자율주행 서비스 준비

임인호 카카오모빌리티 자율주행개발팀 AI주행파트 리더(왼쪽), 김민선 카카오모빌리티 자율주행사업팀 리더(오른쪽)가 9일 서울 서초구 한국자동차모빌리티산업협회에서 열린 카카오모빌리티 자율주행 스터디에서 질의응답을 진행하고 있다 [사진=안신혜 기자]

"쉬운 도로에서 오래 주행하는 것보다 강남처럼 복잡한 도로에서 다양한 돌발 상황을 경험하는 게 자율주행 AI 성능을 높이는 데 더 도움이 됩니다."

임인호 자율주행개발팀 AI주행파트 리더는 9일 서울 서초구 한국자동차모빌리티산업협회에서 열린 카카오모빌리티 자율주행 스터디에서  연내 센서 입력부터 주행 제어까지 하나의 AI 모델로 처리하는 엔드투엔드(E2E) 모델을 도입한다는 목표를 제시하며 이 같이 설명했다.

카카오모빌리티는 현재 강남 지역에서 밤 10시부터 새벽 5시까지 승객을 태우며 자율주행 데이터를 축적하고 있다. 지난 3월 차량 2대로 시작한 심야 서비스는 지난달 6대까지 확대됐으며 누적 운행거리 1만3000km, 운행 완료 2000건을 넘어섰다. 6월부터는 주간에도 별도 주행을 진행하며 통행량과 보행자가 많은 시간대의 데이터도 확보하고 있다.

강남에서 데이터를 쌓는 이유는 복잡한 도로 환경 때문이다. 예측하기 어려운 상황이 자주 발생해 자율주행 AI가 희소한 엣지 케이스를 학습하기에 유리하다는 설명이다.

카카오모빌리티는 이렇게 확보한 데이터를 바탕으로 연내 E2E 모델 도입을 추진한다. 기존 방식은 센서 정보를 인지·판단·제어 단계로 나눠 처리하는 반면, E2E는 센서 입력부터 차량 제어까지 하나의 AI 모델이 맡는다.

임 리더는 "중간 단계에서 발생하는 오류를 줄이고 주행 상황 전체를 종합적으로 판단할 수 있게 된다"고 설명했다. 

다만 카카오모빌리티는 AI 판단에만 차량 제어를 맡기지는 않는다는 구상이다. E2E 모델의 판단을 그대로 차량 제어에 반영하지 않고, 규칙 기반의 '세이프티 이밸류에이터'를 별도로 두면서다. E2E 모델이 선택한 주행 경로를 교통법규와 차량의 물리적 조건, 안전 기준 등에 따라 다시 검증하는 방식으로, 어린이보호구역 제한속도나 교차로 일시정지처럼 반드시 지켜야 하는 규칙은 AI의 판단보다 우선 적용된다. 

카카오모빌리티는 E2E 성능을 좌우하는 핵심으로 데이터의 양보다 ‘어려운 데이터를 얼마나 효율적으로 골라내느냐’를 강조했다. 

차량이 수집한 주행 데이터를 서버로 올리면 불법 유턴이나 돌발 공사, 끼어들기 등 처럼 학습 가치가 높은 엣지 케이스를 선별하고, AI 기반 자동 라벨링을 통해 차량과 보행자 등 주변 객체 정보를 학습 가능한 형태로 가공한다. 이후 비전언어모델(VLM) 등을 활용한 데이터 마이닝으로 날씨와 시간대, 도로 구조, 차량 움직임 등 주행 상황을 분석·분류한 뒤 기존 데이터와 함께 다시 AI 모델 학습에 투입한다.

과거 사람이 직접 주행 영상을 확인하던 데이터 선별 작업에도 AI가 적용됐다. AI가 서버에 올라온 주행 데이터를 수십 분 내 분석해 학습에 필요한 상황을 찾아내고, 이를 다시 모델 학습에 활용한다. 

주행 기술을 실제 무인 자율주행 서비스로 연결하기 위한 플랫폼과 관제 체계도 함께 구축하고 있다. 카카오T를 기반으로 자율주행차 호출·배차뿐 아니라 차량별 운행 가능 구역과 주행 능력에 맞는 경로를 관리하고, 24시간 관제를 통해 차량·승객·도로 상황을 실시간으로 확인한다. 운전자가 없는 상황에서는 승하차 지점 관리와 목적지 변경 등 기존 기사가 맡던 역할도 플랫폼과 관제가 대신하게 된다. 

VLM 기반 관제와 원격지원 기능은 현재 개발·테스트 중이다. 원격지원은 관제사가 차량을 직접 조종하는 방식이 아니라 공사나 도로 통제 등 돌발 상황에서 필요한 정보를 차량에 전달하고, 최종 주행 판단과 제어는 차량의 AI가 수행하는 방식이다. 

카카오모빌리티는 향후 안전성을 충분히 검증한 뒤 강남 자율주행 서비스의 차량 대수와 운행 시간, 지역을 단계적으로 확대한다는 방침이다.