AI 기술이 행정과 정책 전반에 도입되면서 시민은 더 빠르고 일관된 행정 서비스를 경험하게 되었다. 그러나 효율성의 이면에서는 시민의 권리가 이전과 다른 방식으로 축소되고 있다는 문제도 함께 제기된다. 이 글은 AI 행정 환경에서 시민의 권리가 법적으로 폐지되기보다, 구조적으로 약화되는 과정을 분석하고, 그 변화가 왜 쉽게 인식되지 않는지를 살펴본다.
판단 과정이 보이지 않을수록 시민의 권리는 형식화된다
시민의 권리는 단순히 법률 조항에 명시되어 있다는 이유만으로 실질적으로 보장되지 않는다. 권리는 자신에게 내려진 행정 판단의 이유를 이해할 수 있고, 그 판단에 대해 질문하거나 이의를 제기할 수 있을 때 비로소 작동한다. 전통적인 행정에서는 이 권리 행사가 비교적 명확한 경로를 통해 이루어졌다.
과거의 행정 판단은 담당 공무원의 판단을 중심으로 이루어졌고, 시민은 그 판단의 근거를 요청하거나 설명을 요구할 수 있었다. 판단이 잘못되었다고 느낄 경우, 어느 단계에서 문제가 발생했는지를 비교적 분명히 지적할 수 있었다. 이는 행정 판단이 항상 공정했다는 의미는 아니지만, 최소한 판단의 구조는 가시적이었다. AI 행정 환경에서는 이 구조가 근본적으로 달라진다. 판단은 더 이상 특정 개인의 결정이 아니라, 알고리즘이 처리한 결과로 제시된다. 이때 시민이 마주하는 것은 ‘결정 과정’이 아니라 ‘최종 결과’다. 왜 그런 결과가 도출되었는지는 시스템 내부의 계산 과정으로 밀려난다.
문제는 이 판단 과정이 시민에게 충분히 설명되지 않는다는 점이다. 행정은 종종 “시스템 기준에 따라 처리되었다”는 문장으로 설명을 대체한다. 이 표현은 판단이 자의적이지 않다는 점을 강조하지만, 동시에 시민이 이해하고 문제 제기할 수 있는 지점을 차단한다.
이러한 환경에서는 시민의 권리가 형식적으로만 유지된다. 이의 신청이나 불복 절차는 존재하지만, 무엇을 근거로 문제를 제기해야 하는지는 명확하지 않다. 판단의 논리가 보이지 않을수록, 시민은 자신의 권리를 행사하기보다 결과를 수용하는 쪽으로 밀려난다. 권리는 남아 있지만, 실질적으로 사용하기 어려운 상태가 된다.
자동화된 결정 구조는 시민을 ‘권리 주체’에서 ‘처리 대상’으로 이동시킨다
AI 행정의 또 다른 특징은 대규모 자동화다. 민원 처리, 복지 자격 심사, 위험도 평가, 우선순위 설정 등 많은 행정 절차가 자동화되면서, 시민은 개별적 판단의 상대가 아니라 처리 흐름의 한 요소로 위치한다.
전통적인 행정에서는 시민의 상황이 판단의 중요한 요소였다. 예외적 사정은 설명의 대상이 될 수 있었고, 담당자는 일정 부분 재량을 통해 상황을 고려할 수 있었다. 이러한 구조는 완벽하지 않았지만, 시민이 자신의 상황을 설명할 여지는 존재했다.
그러나 자동화된 행정 시스템에서는 예외가 설계되지 않는 한 고려되기 어렵다. 시민은 기준을 충족하거나 충족하지 못한 존재로만 분류된다. 이 과정에서 시민의 개별적 맥락은 데이터 항목으로 환원되거나, 아예 시스템 밖으로 밀려난다.
이러한 변화는 시민의 권리 성격 자체를 바꾼다. 권리는 주장하고 협의할 수 있는 것이 아니라, 시스템이 충족 여부를 판단해 통보하는 것이 된다. 시민은 자신의 권리를 행사하는 주체라기보다, 시스템의 판단 결과를 받아들이는 대상으로 이동한다.
특히 문제는 이 구조가 효율성과 공정성이라는 언어로 정당화된다는 점이다. 자동화된 결정은 인간의 편향을 줄이고 일관성을 높인다는 이유로 긍정적으로 평가된다. 그러나 이 과정에서 시민의 절차적 권리, 즉 설명을 요구하고 판단에 개입할 권리는 점점 부차적인 요소로 밀려난다. 결과적으로 AI 행정은 시민을 보호하기 위한 장치이면서도, 동시에 시민을 관리와 처리의 대상으로 재구성하는 구조를 강화할 수 있다. 이는 시민의 권리가 축소되는 중요한 경로 중 하나다.
책임이 분산될수록 시민의 권리는 방어하기 어려워진다
권리는 침해되었을 때 책임을 묻는 과정을 통해 회복된다. 따라서 권리 보호의 핵심은 책임 구조의 명확성에 있다. 전통적인 행정에서는 판단의 주체와 책임의 주체가 비교적 일치했다. 판단을 내린 조직이나 담당자는 비판과 책임의 대상이 될 수 있었다. AI 행정에서는 이 책임 구조가 크게 달라진다. 알고리즘은 외부 개발자가 설계했을 수 있고, 데이터는 다른 기관이 제공했으며, 행정기관은 시스템을 운영했을 뿐이라는 설명이 가능하다. 이 구조에서는 누구도 시민의 권리 침해에 대해 전면적인 책임을 지지 않는다. 이러한 책임 분산은 시민의 권리를 약화시키는 구조적 조건이다. 시민이 문제를 제기하더라도, 그것은 기술적 한계나 시스템 설계상의 문제로 전환되기 쉽다. 권리 침해는 행정의 잘못이 아니라, 복잡한 기술 환경에서 발생한 불가피한 결과처럼 처리된다.
또한 AI 시스템은 객관성과 중립성을 강조받는다. 이로 인해 시민의 문제 제기는 시스템을 이해하지 못한 반응이나 예외적 불만으로 해석될 위험이 있다. 시민은 자신의 권리가 침해되었다고 느끼더라도, 이를 공적으로 문제 삼기 어려운 위치에 놓인다. 결국 책임의 공백은 권리를 선언적 수준에 머물게 한다. 권리는 법적으로 존재하지만, 실제로는 방어되지 않는다. 이는 AI 행정 환경에서 시민의 권리가 축소되는 가장 근본적인 이유 중 하나다.
AI 앞에서 시민의 권리가 축소된다는 것은, 권리가 법적으로 사라진다는 의미가 아니다. 그것은 권리가 보이지 않게 약화되는 과정을 의미한다. 판단 과정은 설명되지 않고, 결정은 자동화되며, 책임은 분산된다. 이 구조 속에서 시민은 권리를 주장하는 주체라기보다, 시스템의 결과를 수용해야 하는 존재로 재배치된다. AI 행정의 핵심 과제는 기술의 정확도를 높이는 데 있지 않다. 그것은 이 환경 속에서도 시민의 권리가 실제로 행사될 수 있도록, 설명·책임·이의 제기의 구조를 어떻게 다시 설계할 것인가에 있다. 권리는 선언이 아니라, 행사될 수 있을 때 비로소 권리다.