AI가 행정에 도입되면서 정책 집행과 행정 판단은 더 정확하고 효율적으로 이루어질 것이라는 기대가 확산되었다. 그러나 실제 운영 과정에서는 AI 행정 시스템이 실패를 드러내기보다 오히려 감추는 방향으로 작동할 가능성도 함께 나타나고 있다. 이 글은 AI 행정이 왜 실패를 빠르게 수정하기보다 구조적으로 은폐하게 되는지를 행정 시스템의 특성 속에서 살펴본다.
실패는 사라진 것이 아니라 ‘시스템 오류’로 전환되었다
전통적인 행정에서 실패는 비교적 명확한 형태로 드러났다. 정책이 효과를 내지 못했을 경우, 담당 부서의 판단 오류, 제도 설계의 미흡, 집행 과정의 문제 등이 논의의 대상이 되었다. 실패는 인간의 결정과 연결되어 있었고, 책임의 주체 역시 비교적 분명했다. AI 행정 시스템이 도입되면서 이 구조는 변화한다. 판단과 집행의 상당 부분이 알고리즘과 자동화된 절차에 의해 이루어지면서 실패의 성격 역시 달라진다. 정책 결과가 기대와 다르게 나타나더라도, 그것은 ‘정책 실패’가 아니라 ‘시스템 오차’, ‘데이터 한계’, ‘모델 정확도 문제’로 설명되기 쉽다. 이러한 설명 방식은 실패를 제거하는 것처럼 보이지만, 실제로는 실패의 의미를 분산시킨다. 실패는 더 이상 누군가의 판단 결과가 아니라 복잡한 시스템 내부의 기술적 문제로 환원된다. 이 과정에서 실패는 명확한 사건이 아니라 개선이 필요한 기술적 이슈로 재정의된다.
문제는 이 재정의가 실패를 학습의 대상으로 만들기보다 책임 논의에서 배제하는 방향으로 작동할 수 있다는 점이다. 시스템은 지속적으로 ‘업데이트’되고 ‘개선’되기 때문에, 현재의 문제는 일시적인 현상처럼 처리된다. 실패는 기록되기보다 수정 과정 속으로 흡수된다. 결과적으로 AI 행정에서는 실패가 사라진 것이 아니라, 행정적 실패가 아닌 기술적 현상으로 전환된다. 이는 실패를 드러내고 점검해야 할 행정적 기회를 축소시키는 구조로 이어질 수 있다.
자동화된 판단은 실패의 가시성을 낮춘다
AI 행정 시스템의 가장 큰 특징 중 하나는 자동화다. 신청 접수, 자격 판별, 위험도 평가, 우선순위 결정 등 많은 과정이 인간의 개입 없이 처리된다. 이 자동화는 행정 효율성을 높이지만, 동시에 실패가 발생하는 지점을 흐리게 만든다. 전통적인 행정에서는 담당자가 직접 판단하고 결과를 통보했다. 시민은 판단의 근거를 질문할 수 있었고, 문제 발생 시 어느 단계에서 오류가 발생했는지를 비교적 명확히 지적할 수 있었다. 그러나 AI 행정에서는 판단 과정이 여러 단계의 데이터 처리와 계산으로 이루어지기 때문에 실패의 위치를 특정하기 어렵다. 예를 들어 복지 대상자 선별에서 탈락자가 발생했을 때, 그 이유는 단일한 판단이 아니라 데이터 입력, 기준 설정, 알고리즘 계산의 결합 결과다. 이 과정에서 어느 지점이 문제였는지를 설명하기는 쉽지 않다. 행정은 “시스템 기준에 따라 처리되었다”는 답변으로 귀결되기 쉽다.
이러한 구조는 실패를 개인의 불만이나 예외적 사례로 축소시킬 위험을 내포한다. 자동화된 결과는 일관성을 갖기 때문에, 다수의 유사한 실패가 발생하더라도 그것은 시스템의 문제로 인식되기보다, 개인의 특수한 상황으로 해석될 수 있다. 결국 자동화는 실패의 빈도를 줄일 수는 있지만, 실패가 발생했을 때 그것을 인식하고 논의하기 어렵게 만든다. 실패는 통계 속에 묻히고, 행정 시스템은 정상적으로 작동하고 있다는 인상을 유지하게 된다.
책임의 분산은 실패를 구조적으로 은폐한다
AI 행정 시스템에서 실패가 숨겨지는 가장 핵심적인 이유는 책임 구조의 변화에 있다. 전통적인 행정에서는 판단과 책임이 비교적 일치했다. 판단을 내린 주체가 곧 책임의 주체였다. 그러나 AI 행정에서는 판단의 주체가 분산된다. 알고리즘을 설계한 집단, 데이터를 제공한 기관, 시스템을 운영하는 부서, 결과를 집행하는 공무원은 서로 다른 위치에 있다. 이 구조에서는 실패가 발생했을 때 책임을 명확히 귀속시키기 어렵다. 각 주체는 자신의 역할 범위 내에서는 문제가 없었다고 설명할 수 있다. 이러한 책임 분산 구조는 실패를 제도적으로 관리하기보다, 회피하게 만드는 효과를 낳을 수 있다. 누구도 실패의 전면에 서지 않기 때문에, 실패는 조직 차원의 반성과 개선으로 이어지기보다 기술적 조정의 문제로 처리된다.
또한 AI 행정은 객관성과 중립성을 강조한다. 시스템이 제시한 결과는 인간의 주관적 판단보다 공정하다는 인식이 강하다. 이 인식은 실패를 문제 삼는 목소리를 약화시킨다. 시스템 결과에 대한 문제 제기는 종종 비합리적 불만이나 이해 부족으로 해석될 위험이 있다. 결과적으로 AI 행정 시스템은 실패를 드러내기보다, 실패를 설명하기 어려운 상태로 만든다. 실패는 분산되고, 흐려지고, 결국 구조 속에 묻힌다. 이는 AI 행정의 효율성과는 별개로 민주적 행정 책임의 관점에서 중요한 문제를 제기한다.
AI 행정 시스템은 분명 행정의 효율성과 일관성을 높이는 데 기여하고 있다. 그러나 그 이면에서는 실패를 인식하고 책임을 묻는 전통적인 행정 메커니즘이 약화될 가능성도 함께 존재한다. 실패가 기술적 문제로 환원되고, 자동화와 책임 분산 속에 묻힐 때, 행정은 실패로부터 학습할 기회를 잃을 수 있다. AI 행정의 과제는 실패를 없애는 것이 아니라, 실패가 다시 보이도록 만드는 것이다. 실패를 숨기는 구조를 그대로 둔 채 효율성만을 강조한다면, AI 행정은 더 정확해질 수는 있어도 더 책임 있는 행정이 되기는 어려울 것이다.