복지 정책, 고용 정책, 재정 정책까지. 최근 정책 논의의 배경에는 점점 더 자주 AI 분석 결과가 등장한다. 과거에는 정책 대안이 연구자의 보고서나 공무원의 경험, 정치적 판단의 산물이었다면, 이제는 방대한 데이터를 학습한 알고리즘이 “가장 효율적인 선택”을 제안한다. 문제는 그 선택이 현실이 되었을 때다. 정책이 실패하거나, 누군가가 배제되거나, 예상하지 못한 피해가 발생했을 때 우리는 누구에게 책임을 물어야 할까
정책 결정의 주체는 바뀌지 않았지만, 책임의 경계는 흐려졌다
AI가 정책 대안을 제시한다고 해서 정책 결정의 최종 주체가 AI로 바뀐 것은 아니다. 제도적으로 보자면 여전히 정책은 정부가 결정하고, 국회가 통과시키며, 행정조직이 집행한다. 그럼에도 불구하고 실제 정책 과정에서는 미묘한 변화가 발생한다. “데이터 기반 분석 결과”, “AI 시뮬레이션에 따르면”, “알고리즘이 가장 효과적인 안으로 도출한 결과”라는 표현이 반복될수록 정책 결정의 무게중심은 점점 인간의 판단에서 계산의 결과로 이동한다. 문제는 이 이동이 책임의 이동을 동반하지 않는다는 점이다. AI는 법적 주체가 아니며, 책임을 질 수 있는 존재가 아니다. 그렇다고 해서 정책 담당자가 모든 책임을 온전히 짊어지고 있다고 말하기도 어렵다. 실제 정책 현장에서는 “AI 결과를 참고했을 뿐”이라는 말이 일종의 방패처럼 작동한다. 정책 실패가 발생했을 때, 그 실패는 개인의 판단 오류가 아니라 ‘데이터의 한계’나 ‘예측 불가능한 변수’로 설명된다. 이 과정에서 책임은 분산되고 희석된다. 정책 담당자는 AI를 활용했기 때문에 합리적 결정을 내렸다고 주장할 수 있고, AI는 단지 입력값에 따라 계산했을 뿐이라는 이유로 책임에서 벗어난다. 결국 책임은 구체적인 주체를 잃고 시스템 전체에 퍼져버린다. 이때 시민이 마주하는 것은 명확한 책임자가 아니라, “과학적 절차에 따라 결정되었다”는 설명뿐이다. 더 근본적인 문제는 정책 판단의 성격이 변한다는 점이다. 정책은 원래 가치 판단을 포함한다. 누구를 우선 지원할 것인지, 어떤 위험을 감수할 것인지, 어떤 불평등을 허용할 것인지에 대한 결정은 숫자로 환원될 수 없는 영역이다. 그러나 AI가 제시한 정책 대안은 이런 가치 판단을 효율성, 비용 대비 효과, 통계적 평균이라는 언어로 번역한다. 번역되는 순간, 가치 판단은 마치 이미 결정된 사실처럼 보이게 된다. 그 결과 정책 담당자의 역할은 ‘결정자’라기보다 ‘선택을 승인하는 관리자’에 가까워진다. 그리고 관리자는 실패에 대해 책임지기보다, 과정의 정당성을 강조하게 된다. 이 지점에서 책임은 여전히 존재하지만, 어디에도 명확히 닿지 않는다.
“AI가 그렇게 판단했다”는 말이 만드는 책임 회피의 구조
정책 논의에서 AI가 등장할 때 자주 사용되는 표현이 있다. “AI가 분석한 결과”, “알고리즘이 도출한 최적안”, “객관적 데이터에 기반한 판단”. 이 표현들은 중립성과 합리성을 강조하는 동시에, 판단의 주체를 흐린다. 판단이 인간의 선택이 아니라 시스템의 결과처럼 보이게 만들기 때문이다. 이때 중요한 질문은 이것이다. AI는 무엇을 기준으로 판단하는가. AI는 스스로 기준을 만들지 않는다. 어떤 데이터를 사용할지, 어떤 변수를 중요하게 볼지, 어떤 목표 함수를 설정할지는 모두 인간이 결정한다. 그러나 정책 현장에서는 이 설계 과정이 거의 드러나지 않는다. 시민이 마주하는 것은 결과뿐이다. “부적격”, “우선순위 낮음”, “지원 대상 제외”라는 결과는 제시되지만, 왜 그런 결과가 나왔는지는 충분히 설명되지 않는다. 설명이 사라질수록 책임도 함께 사라진다. 시민이 정책 결정에 문제를 제기하면 돌아오는 답은 종종 모호하다. “시스템 기준에 따라 결정되었다”, “모든 신청자에게 동일한 기준을 적용했다”, “객관성을 확보하기 위한 조치였다”. 이 문장들은 사실일 수 있지만, 동시에 책임을 특정 주체로부터 멀어지게 만든다.
더 나아가 AI는 정책 실패를 ‘자연화’하는 역할을 하기도 한다. 과거에는 정책 실패가 정치적 판단의 결과로 해석되었다면, 이제는 기술적 한계나 데이터 부족의 문제로 설명된다. 이는 정책 실패를 비판의 영역에서 기술 개선의 영역으로 이동시킨다. 비판은 줄어들고, 책임 추궁 대신 “다음 버전에서는 개선하겠다”는 말이 남는다. 이 구조는 정책의 민주적 통제에도 영향을 미친다. 정책은 원래 공개적 논쟁과 책임 있는 설명을 통해 정당성을 확보해야 한다. 그러나 AI가 개입된 정책은 논쟁의 언어를 기술의 언어로 바꾼다. 이해하기 어려운 알고리즘과 복잡한 모델은 시민의 질문을 어렵게 만들고, 결과적으로 정책 결정 과정은 더 폐쇄적으로 변한다. 결국 “AI가 그렇게 판단했다”는 말은 판단의 권위를 높이는 동시에, 책임의 주체를 보이지 않게 만든다. 책임은 사라지지 않았지만, 질문할 수 없는 곳으로 이동한 셈이다.
AI 정책 시대에 책임을 다시 묻는 방식은 어떻게 달라져야 하는가
AI가 정책 대안을 제시하는 시대에 책임을 묻는 방식은 과거와 같을 수 없다. 단순히 “누가 결정했는가”를 묻는 질문만으로는 부족하다. 이제는 “누가 기준을 설정했는가”, “누가 그 기준을 승인했는가”, “그 기준은 언제, 어떻게 검토되는가”까지 함께 물어야 한다.
첫째, 정책 과정에서 AI의 역할을 명확히 구분할 필요가 있다. AI는 조언자인가, 판단 보조자인가, 아니면 사실상의 결정 도구인가. 이 구분이 불분명할수록 책임은 흐려진다. AI가 단순 참고 자료라면, 최종 결정에 대한 책임은 전적으로 정책 담당자에게 있어야 한다. 반대로 AI의 판단이 사실상 결정으로 작동한다면, 그 설계와 운영에 대한 책임 구조를 별도로 설정해야 한다.
둘째, 설명 책임의 기준을 재정의해야 한다. “시스템이 그렇게 판단했다”는 설명은 충분하지 않다. 시민은 자신에게 불리한 정책 결과가 나왔을 때, 그 판단의 논리와 기준을 이해할 권리가 있다. 이는 기술적 세부 사항을 모두 공개하라는 요구가 아니라, 정책 판단이 어떤 가치와 우선순위를 반영했는지를 설명하라는 요구에 가깝다.
셋째, 책임은 사후 대응이 아니라 사전 설계 단계에서부터 고려되어야 한다. 어떤 데이터를 쓰지 않을 것인지, 어떤 집단이 구조적으로 불리해질 가능성이 있는지, 오류가 발생했을 때 어떻게 수정할 것인지에 대한 책임은 정책 시행 이후가 아니라 설계 단계에서 명시되어야 한다. 그렇지 않으면 책임은 언제나 “예상하지 못했다”는 말 뒤로 숨게 된다.
AI는 정책의 책임을 대신 질 수 없다. 그러나 AI를 사용하는 인간 역시 책임에서 자유로울 수 없다. 중요한 것은 AI를 쓰느냐 마느냐가 아니라, AI를 통해 이루어진 판단에 대해 누가, 어떻게, 끝까지 책임질 것인가를 분명히 하는 일이다. 정책은 계산이 아니라 선택의 결과이며, 선택에는 언제나 책임이 따른다. 이 사실이 흐려지는 순간, 문제는 기술이 아니라 정책 그 자체가 된다.