AI가 정책결정 과정에 활용되면서 정책은 점점 더 ‘합리적’이라는 평가를 받는다. 그러나 이 합리성은 과연 인간이 이해해 온 합리성과 같은 의미일까, 아니면 단순히 계산 결과를 합리성으로 착각하고 있는 것은 아닐까.
정책에서 말하는 ‘합리성’과 AI가 구현하는 합리성은 다르다
정책 영역에서 합리성은 단순히 비용을 줄이고 효과를 극대화하는 문제로만 정의되지 않는다. 전통적으로 정책의 합리성은 목표 설정의 정당성, 수단 선택의 적절성, 그리고 그 결과가 사회적으로 수용 가능한가라는 복합적인 기준을 포함해 왔다. 즉, 정책이 합리적이라는 말은 계산이 정확하다는 의미이기보다는, 다양한 이해관계와 가치 판단을 고려한 결과라는 의미에 가깝다.
반면 AI가 구현하는 합리성은 다른 출발점에서 작동한다. AI는 주어진 목표 함수와 데이터에 따라 가장 효율적인 선택지를 도출한다. 이 과정에서 ‘효율성’은 수치로 표현 가능해야 하며, 비교 가능해야 한다. 예를 들어 예산 대비 최대 수혜자 수, 정책 효과 점수, 위험 확률 최소화와 같은 지표가 기준이 된다. 이러한 기준은 분명 정책 판단에 유용한 정보를 제공하지만, 그것만으로 정책의 합리성을 완전히 설명할 수는 없다.
문제는 정책 과정에서 이 두 가지 합리성이 종종 혼동된다는 점이다. AI가 계산한 결과가 등장하면, 그것은 마치 가치 판단까지 완료된 합리적 결론처럼 받아들여지기 쉽다. 그러나 AI는 “무엇이 옳은가”를 판단하지 않는다. AI는 “주어진 조건에서 무엇이 가장 효율적인가”를 계산할 뿐이다. 목표 자체가 적절한지, 그 목표가 특정 집단에 불리하게 작용하지는 않는지, 사회적 합의가 필요한 사안인지는 AI의 판단 범위를 벗어난다.
그럼에도 불구하고 AI 기반 정책결정이 확대될수록, 정책의 합리성은 점점 계산 가능성에 의해 정의된다. 수치화되지 않는 요소는 논의의 주변부로 밀려나고, 정성적 판단은 ‘비과학적’이거나 ‘비효율적’이라는 평가를 받기 쉽다. 이 과정에서 정책은 복잡한 사회적 선택이 아니라, 최적해를 찾는 문제처럼 다뤄진다.
결국 AI 기반 정책결정에서 말하는 합리성은 인간 사회가 요구해 온 합리성과 동일하지 않다. 이는 우열의 문제가 아니라 성격의 차이에 가깝다. 중요한 것은 이 차이를 인식하지 못한 채, 계산의 결과를 곧바로 합리성으로 등치시키는 태도다. 이 태도가 지속될 경우, 정책은 점점 더 계산에 적합한 문제만 다루게 되고, 다루기 어려운 문제는 정책의 영역 밖으로 밀려날 가능성이 커진다.
계산 가능한 정책은 늘어나지만, 설명 가능한 정책은 줄어든다
AI 기반 정책결정의 또 다른 특징은 계산 과정이 복잡해질수록 결과 설명이 어려워진다는 점이다. 전통적인 정책 분석에서는 정책 대안의 선택 이유를 비교적 명확하게 설명할 수 있었다. 예산 규모, 예상 효과, 이해관계자 반응 등을 중심으로 정책 결정의 논리를 서술할 수 있었기 때문이다. 설령 논쟁이 있더라도, 그 논쟁의 언어는 비교적 공유 가능한 것이었다.
그러나 AI가 개입한 정책결정에서는 상황이 달라진다. AI 모델은 수많은 변수와 가중치를 동시에 고려해 결과를 도출한다. 이 과정은 기술적으로는 정교하지만, 그만큼 직관적 설명이 어렵다. 정책 담당자조차 왜 특정 대안이 선택되었는지를 완전히 이해하지 못하는 경우가 발생한다. 그럼에도 정책은 “AI 분석 결과에 따르면”이라는 문장으로 정당화된다.
이때 정책은 계산적으로는 정밀해질 수 있지만, 설명 책임의 측면에서는 오히려 후퇴한다. 시민에게 제공되는 설명은 결과 중심이 되기 쉽고, 과정에 대한 설명은 축약되거나 생략된다. 이는 정책 수용성에 직접적인 영향을 미친다. 사람들은 결과가 불리할수록 그 이유를 알고 싶어 하지만, AI 기반 정책에서는 그 이유가 기술적 언어로만 존재하거나 아예 제시되지 않는 경우가 많다.
설명이 부족해질수록 정책은 불투명하게 인식된다. 불투명성은 곧 불신으로 이어진다. 아무리 ‘합리적 계산’을 거쳤다고 설명하더라도, 그 계산의 기준과 우선순위를 이해할 수 없다면 시민은 정책을 납득하기 어렵다. 이때 정책의 합리성은 체감되지 않고, 오히려 냉정하고 비인간적인 결정으로 받아들여질 가능성이 커진다.
또 하나 주목할 점은 계산 가능성이 정책 의제 설정에도 영향을 미친다는 것이다. AI로 분석하기 쉬운 문제, 데이터가 충분한 문제는 정책 논의의 중심으로 들어오는 반면, 데이터화하기 어려운 문제는 상대적으로 관심에서 멀어진다. 이로 인해 정책은 점점 측정 가능한 영역에 집중되고, 구조적 불평등이나 사회적 관계와 같은 복합적 문제는 뒷전으로 밀릴 수 있다.
결과적으로 AI 기반 정책결정은 계산의 정교함을 강화하는 동시에, 정책 설명의 언어를 빈약하게 만들 위험을 내포하고 있다. 합리성이 계산으로만 표현될 때, 정책은 이해되기보다는 받아들여지기를 요구하는 결정이 된다.
AI 정책결정의 핵심 쟁점은 기술이 아니라 ‘해석’이다
AI 기반 정책결정을 둘러싼 논의에서 종종 기술 자체에 초점이 맞춰진다. 더 정확한 모델, 더 많은 데이터, 더 빠른 계산 능력이 정책의 질을 높일 것이라는 기대다. 물론 기술적 개선은 중요하다. 그러나 정책 영역에서 더 근본적인 문제는 AI의 계산 결과를 어떻게 해석하고 활용하느냐에 있다. AI는 정책 대안을 ‘선택’하지 않는다. AI는 가능성의 공간을 계산하고, 그중 특정 기준에 가장 부합하는 값을 제시한다. 선택은 여전히 인간의 몫이다. 그러나 실제 정책 현장에서는 이 선택의 단계가 종종 생략된다. 계산 결과가 곧 선택으로 이어지면서, 인간의 판단 개입은 최소화된다.
이때 중요한 질문은 “AI의 계산 결과를 어디까지 신뢰할 것인가”가 아니라, “그 결과를 어떤 맥락에서 해석할 것인가”다. 동일한 AI 분석 결과라도, 정책 목표와 사회적 가치에 따라 전혀 다른 결론으로 이어질 수 있다. 예를 들어 효율성을 최우선으로 볼 것인지, 형평성을 우선할 것인지에 따라 같은 데이터는 다른 의미를 갖는다. 따라서 AI 기반 정책결정에서 필요한 것은 기술 만능주의가 아니라 해석의 기준을 명확히 하는 일이다. 어떤 지표를 중요하게 보았는지, 그 지표가 어떤 가치 판단을 전제하고 있는지, 그리고 그 판단이 사회적으로 합의 가능한 것인지를 설명해야 한다. 이는 AI의 문제가 아니라 정책 설계자의 책임이다.
또한 해석의 과정은 공개되어야 한다. AI 결과를 어떻게 정책 판단으로 전환했는지에 대한 설명이 없다면, 정책은 기술 뒤에 숨게 된다. 이는 정책의 민주성과 책임성을 약화시킨다. AI를 사용하는 정책일수록, 오히려 더 많은 설명과 토론이 필요하다는 점에서 역설적이다. 결국 AI 기반 정책결정이 합리적인지 계산적인지는 기술의 수준이 아니라, 그 기술을 둘러싼 해석과 설명의 방식에 달려 있다. 계산은 수단일 뿐이며, 정책의 합리성은 여전히 인간 사회가 어떤 선택을 하고, 그 선택에 대해 얼마나 책임 있게 설명할 수 있는가에 의해 결정된다.