‘환각’이 문제…법정 혼란 초래하는 AI에 분노하는 판사들

법률 문서에서 AI가 '환각'을 일으켜 만들어낸 엉터리 정보가 잇따라 발견되며 판사들의 분노를 사고 있다. 전문가들은 이런 문제가 앞으로 더 심각해질 것으로 보고 있다.

최근 몇 주간 인공지능(AI)이 법정에서 활용되는 사례가 잇따르며 관련 보도가 이어지고 있다. 특히 2021년 도로 난투극 사건 중 총에 맞아 사망한 크리스 펠키의 가족이 고인의 모습을 재현한 AI 아바타를 만들어 법정에서 피해자 영향 진술(victim impact statement)에 활용한 사례는 미국 내 첫 시도로 화제를 모았다.

그러나 법률 전문가들에 따르면 이보다 훨씬 더 중대한 논란이 수면 위로 떠오르고 있다. 법률 문서 곳곳에서 AI가 ‘환각(hallucination)’을 일으켜 만든 허위 정보가 점점 더 자주 등장하고 있는 것이다. 그러자 이를 접한 판사들이 분노를 감추지 못하고 있다. 최근 알려진 세 건의 사례는 변호사들이 AI를 점점 더 적극적으로 활용하면서 향후 법정에서 AI 로 인해 어떤 문제가 더 불거질 수 있을지를 단적으로 보여준다.

몇 주 전 캘리포니아주의 마이클 윌너(Michael Wilner) 판사는 변호인단이 제출한 서면에서 일부 논거에 흥미를 느껴 인용된 기사를 직접 확인해 보기로 했다. 그러나 그 기사들은 존재하지 않았다. 윌너 판사가 추가 자료를 요청하자 변호인단은 새 문서를 제출했지만, 이전보다 더 많은 오류가 포함돼 있었다. 이에 윌너 판사는 변호사들에게 선서 진술서를 통해 경위를 밝히도록 명령했고, 그 결과 미국 대형 로펌 엘리스 조지(Ellis George) 소속의 한 변호사가 문서 작성에 구글의 제미나이와 법률에 특화된 AI 모델을 함께 사용했다는 사실이 드러났다. AI가 생성한 허위 정보가 그대로 문서에 담긴 것이다. 윌너 판사는 5월 6일 자 결정문을 통해 해당 로펌에 벌금 3만 1,000달러(약 4,300만 원)를 부과했다.

두 번째 사례도 최근 캘리포니아에서 발생했다. 음반사들이 제기한 저작권 침해 소송에서 AI 기업 앤트로픽이 제출한 서류에 또 하나의 환각 현상이 발견된 것이다. 해당 문서는 앤트로픽 소속 변호사가 자사 AI 모델인 클로드(Claude)에게 법률 기사의 인용문 생성을 요청해 작성됐으나, 클로드는 실제와 다른 제목과 저자를 포함한 잘못된 정보를 만들어냈다. 이후 앤트로픽 측 변호사는 문서 작성 후 검토 과정에서 아무도 해당 오류를 발견하지 못했다고 인정했다.

가장 우려스러운 세 번째 사례는 5월 중순 현재 이스라엘에서 진행 중이다. 현지 경찰이 자금세탁 혐의로 한 인물을 체포했고, 이스라엘 검찰은 해당 인물의 휴대전화를 증거물로 보관할 수 있도록 법원에 허가를 요청했다. 그러나 검찰이 인용한 법 조항들이 실제로는 존재하지 않는 법이라는 사실이 드러났다. 이에 피고 측 변호인은 요청서에 AI 환각이 포함됐다고 지적했고, 현지 언론에 따르면 검찰은 이를 인정했으며 판사로부터 강한 질책을 받은 것으로 전해졌다.

이들 사례가 시사하는 바는 분명하다. 법정에서는 사실에 기반한 정확한 문서와 신뢰할 수 있는 인용이 무엇보다 중요하다. 하지만 시간을 아끼기 위해 AI에 의존하는 변호사들이 늘어나는 가운데, 정작 AI는 이 같은 기본 요건을 제대로 충족하지 못하는 경우가 많다.

현재까지는 이러한 오류들이 뒤늦게나마 발견되고 있지만, 머지않은 미래에는 AI가 생성한 허위 정보가 판사의 판단에 영향을 미치고, 그 누구도 이를 알아차리지 못하는 상황이 발생할 가능성도 결코 과장된 우려가 아니다.

캐나다 워털루대학교 컴퓨터과학부 및 오스굿홀 로스쿨(Osgoode Hall Law School)에서 재직 중인 모라 그로스먼(Maura Grossman) 교수는 생성형 AI가 법정에 미칠 영향을 초창기부터 꾸준히 경고해 온 인물이다. 그녀는 2023년 AI 환각 현상이 처음으로 법원 문서에 등장하기 시작했을 당시부터 관련 문제를 지적하는 글을 발표해 왔다. 당시 그녀는 변호사에게 법원 제출 문서에 대한 검토 의무를 부과하는 기존의 법원 규정과, 환각 사례가 불러온 부정적 여론이 문제를 빠르게 잠재울 것이라 기대했지만, 결과는 달랐다.

그로스먼 교수는 “환각 현상은 전혀 줄지 않고 오히려 더 늘어나고 있다”고 말했다. 그녀는 “이런 일이 무명의 지방 로펌에서 벌어진 일회성 실수가 아니다”라며 “이름 있는 변호사들조차 AI로 인해 중대하면서도 당혹스러운 수준의 실수를 저지르고 있다”고 지적했다. 또 “특히 전문가 보고서처럼 변호사가 직접 작성하지 않는 문서에서도 유사한 오류가 점점 더 자주 발견되고 있다”며 우려를 표했다. 실제로 지난해 12월에는 스탠퍼드대학교(Stanford University)의 AI 전문가가 법정 증언에서 AI가 만든 잘못된 정보를 인용했다가 이를 인정한 일이 있었다.

이에 필자가 “변호사들은 단어 하나도 신중히 고르는 사람들인데, 이렇게 많은 이들이 AI로 인해 실수를 반복하고 있다는 점이 다소 놀랍다”고 말하자, 그로스먼 교수는 “변호사들은 크게 두 부류로 나뉜다”며 “하나는 AI를 지나치게 경계해 아예 사용하지 않으려는 이들이고, 다른 하나는 기술 도입에 적극적인 얼리 어답터(early adopter)들”이라고 답했다. 그녀는 “후자의 경우 시간에 쫓기거나 서면 작성을 도와줄 동료 변호사가 없는 경우가 많아 빠듯한 마감에 맞춰 문서를 작성할 수 있는 기술을 간절히 원한다”며 “그러다 보니 AI가 생성한 결과물을 충분히 검토하지 않은 채 그대로 활용하는 상황이 발생하는 것”이라고 덧붙였다.

문장을 고르고 다듬는 것이 본업인 변호사들조차 AI가 만들어낸 오류를 반복해 놓치고 있다는 사실은 우리가 이 기술을 얼마나 무비판적으로 받아들이고 있는지를 단적으로 보여준다. AI가 종종 잘못된 정보를 생성한다는 경고는 끊임없이 이어지지만, 언어 모델의 응답은 때로 마법처럼 보일 정도로 설득력 있게 들린다. 복잡한 질문을 입력하면 마치 전문가의 답변처럼 지적이고 논리적인 문장이 반환된다. 그렇게 AI는 점차 ‘권위’라는 외피를 두르게 되고, 우리는 자연스럽게 그것을 신뢰하게 된다.

그로스먼 교수는 “LLM이 워낙 유창하게 말하다 보니 그 답변이 정확할 것이라는 착각에 빠지기 쉽다”며 “AI의 말투가 권위적으로 들리기 때문에 많은 이들이 무의식적으로 신뢰하게 되는 것”이라고 설명했다. 그녀는 이어 “변호사들은 보통 신입 변호사나 인턴이 작성한 문서는 꼼꼼히 검토하는 데 익숙하면서도, AI가 생성한 결과물에는 그러한 회의적 시선을 적용하지 않는다”고 지적했다.

챗GPT가 등장한 것은 약 3년 전이지만 이와 같은 문제는 초기부터 지적돼 왔다. 그럼에도 지금까지 제시된 해결책은 별다른 진전을 보이지 못하고 있다. ‘AI가 제공한 정보를 무조건 믿지 말고 반드시 검토하라’는 조언이 여전히 유일한 대응책처럼 반복되고 있다. 하지만 다양한 도구에 AI가 빠르게 통합되고 있는 상황에서, 그 근본적인 결함에 대해 단순히 ‘검토하라’는 충고는 점점 설득력을 잃어가고 있다.

환각 현상은 LLM의 작동 원리상 피할 수 없는 문제다. 그럼에도 불구하고 여러 기업들은 법률 시장을 겨냥한 생성형 AI 도구를 출시하며 ‘정확성’과 ‘신뢰성’을 전면에 내세운 마케팅을 이어가고 있다. 미국의 법률 검색 플랫폼 웨스트로 프리시전(Westlaw Precision)에는 ‘정확하고 완성도 높은 리서치, 안심하고 시작하세요’는 문구가 걸려 있으며, AI 기반 법률 지원 서비스 코카운슬(CoCounsel)도 자사 모델이 ‘신뢰할 수 있는 콘텐츠’에 기반하고 있다고 홍보한다. 그러나 이들 서비스를 실제로 활용한 로펌 엘리스 조지는 허위 정보가 담긴 문서를 법원에 제출했다가 3만 1,000달러의 벌금을 부과받았다.

AI를 과신하는 사람들을 보면 점점 안타까운 마음이 든다. 지금 우리는 이 기술을 만든 이들조차 AI가 너무 강력해 ‘핵무기’처럼 다뤄야 한다고 말하는 시대에 살고 있다. 이 모델들은 인류가 축적해 온 거의 모든 텍스트를 학습했고, 이제는 우리의 온라인 일상 깊숙한 곳까지 파고들었다. 그렇다면 AI가 생성한 정보에 대한 경계심을 더 자주, 더 분명하게 환기시키는 일은 이 기술을 개발한 기업들의 책임이 아닐까.

The post ‘환각’이 문제…법정 혼란 초래하는 AI에 분노하는 판사들 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.