AI가 낳은 ‘진실의 위기’, 거짓은 들통나도 영향력은 남는다

AI로 만든 조작 콘텐츠라는 사실이 드러난 뒤에도 사람들의 믿음은 쉽게 바뀌지 않으며, 진위를 가리는 기술만으로는 무너지는 사회적 신뢰를 되돌리기 어려운 상황이다.

그동안 많은 우려를 낳아 온 ‘진실이 붕괴되는 시대’가 이제 눈앞의 현실이 되고 있다. 인공지능(AI)이 만들어낸 콘텐츠가 사람들을 속이고, 거짓임이 드러난 뒤에도 사고에 영향을 미치며 사회 전반의 신뢰를 약화시키는 시대다. 지난달 말 필자가 보도한 기사 한 편은 이런 우려가 더 이상 가정이 아니라 이미 현실이 됐음을 보여줬다. 동시에 이 위기를 해결할 해법처럼 제시돼 온 기술들이 실제로는 거의 힘을 쓰지 못하고 있다는 사실도 분명히 드러났다.

필자는 미국 국토안보부(US Department of Homeland Security)가 대중에게 공개하는 콘텐츠 제작에 구글과 어도비의 AI 영상 생성 도구를 활용하고 있다는 사실을 처음으로 확인해 보도했다. 이는 부처 산하 이민 당국이 도널드 트럼프 대통령의 대규모 추방 정책을 뒷받침하는 메시지를 소셜미디어를 통해 집중적으로 확산하던 시점과 맞물린 소식이었다. 실제 게시물 가운데에는 ‘대규모 추방 이후의 크리스마스’를 그린 영상을 비롯해 AI 기술이 사용된 것으로 보이는 영상들이 포함돼 있었다.

하지만 독자들로부터 돌아온 두 가지 반응은 우리가 처한 인식의 위기를 또 다른 각도에서 드러냈다.

첫 번째 반응은 그다지 놀랍지 않다는 것이었다. 지난 1월 22일 미국 정부는 이민세관단속국(ICE) 시위 현장에서 체포된 한 여성의 사진을 편집해 공개했다. 사진 속 여성은 울며 감정이 격해진 상태인 것처럼 보이도록 손질돼 있었다. 케일런 도어(Kaelan Dorr) 백악관 홍보 부국장은 정부가 사진을 조작했는지 묻는 질문에는 답하지 않은 채 “밈은 계속될 것”이라고 말했다. 어차피 이런 사진은 앞으로도 계속 퍼지고, 소비되고, 변형될 것이라는 냉소적이고 책임 회피적인 발언이었다..

두 번째 반응은 국토안보부가 대중에게 공개한 콘텐츠를 AI로 편집했다는 사실을 굳이 뉴스로 다룰 필요가 있느냐는 지적이었다. 언론사들도 비슷한 일을 하고 있다는 이유에서다. 이들이 근거로 든 사례는 미국 케이블 뉴스 채널 엠에스 나우(MS Now, 구 MSNBC)였다. 이 매체가 지난 1월 24일 ICE 단속에 항의하던 중 연방 요원의 총격으로 사망한 백인 남성 알렉스 프레티(Alex Pretti)의 사진을 AI로 보정해 더 잘생기게 보이도록 만든 이미지를 방송에 사용했다는 것이다. 이 장면은 이번 주 여러 온라인 영상으로 빠르게 퍼졌고, 미국의 인기 팟캐스트 진행자 조 로건(Joe Rogan)의 방송에서도 언급됐다. 엠에스 나우 측 대변인은 미국의 팩트체크 전문 매체 스놉스(Snopes)에 “해당 이미지가 편집된 사실을 모른 채 방송에 내보냈다”고 밝혔다.

두 사례를 같은 범주로 묶거나, 이를 두고 진실이 더 이상 중요하지 않다는 신호로 해석할 이유는 없다. 하나는 미국 정부가 명백히 편집된 사진을 대중에게 공개하고 의도적인 조작이었는지에 대한 질문에 답하지 않은 경우이다. 다른 하나는 언론사가 조작된 사진을 걸러내지 못한 채 방송에 내보냈지만 이후 그 사실을 밝히고 정정에 나선 사례이다.

이런 반응이 드러내는 것은 우리가 이 상황을 대비해 온 방식에 근본적인 허점이 있었다는 점이다. 그동안 제기된 AI 시대의 진실 위기 경고는 한 가지 전제에 기대고 있었다. 무엇이 진짜인지 구별하지 못하게 되면 사회가 무너질 수밖에 없으니, 각자가 독립적으로 진위를 검증할 수 있는 도구가 필요하다는 것이다.

그러나 필자는 두 가지의 씁쓸한 결론을 내렸다. 그런 검증 도구들이 기대만큼 제 역할을 하지 못하고 있으며, 사실 여부를 가려내는 일이 여전히 중요하더라도 그것만으로는 우리가 기대했던 사회적 신뢰를 되살리기에 충분하지 않다는 점이다.

이를 보여주는 사례가 2024년 큰 기대를 모았던 콘텐츠 진위성 검증 이니셔티브(Content Authenticity Initiative)다. 어도비가 공동 설립하고 여러 주요 기술 기업이 참여한 이 구상은 콘텐츠를 누가 언제 제작했는지, AI가 활용됐는지를 표시하는 라벨을 붙이자는 취지로 시작됐다. 그러나 어도비는 콘텐츠가 전적으로 AI로 생성된 경우에만 자동으로 라벨을 부착하고, 그 외의 경우에는 제작자가 직접 선택해야 라벨이 적용되는 구조이다.

X처럼 조작된 체포 사진이 올라온 플랫폼들은 이런 라벨을 아예 삭제해 버릴 수도 있다. 실제로 미국 정부가 게시한 체포 사진에 ‘이 이미지는 조작됐다’는 설명을 덧붙인 것은 사용자였다. 플랫폼이 라벨을 표시하지 않기로 선택하는 일도 가능하다. 어도비가 이 이니셔티브를 출범시키며 사례로 소개했던 곳 가운데에는 미 국방부의 공식 이미지 공유 사이트 DVIDS도 있었다. 당시에는 이 사이트가 콘텐츠 진위를 보여주는 라벨을 표시할 것이라고 했지만, 지금 해당 사이트를 보면 그런 라벨은 보이지 않는다.

백악관이 게시한 사진이 AI로 조작된 것으로 드러난 뒤에도 얼마나 빠르게 확산됐는지를 보며, 필자는 최근 학술지 <커뮤니케이션 심리학(Communications Psychology)>에 실린 연구가 떠올랐다. 이 연구에서 참가자들은 범죄를 자백하는 딥페이크 영상을 시청했다. 연구진은 해당 영상이 가짜라는 사실을 분명히 고지했음에도 참가자들이 인물의 유죄 여부를 판단할 때 그 영상을 근거로 삼는 경향이 있다는 점을 확인했다. 다시 말해 사람들이 보고 있는 콘텐츠가 완전히 가짜라는 사실을 알게 된 뒤에도 감정적으로는 여전히 영향을 받는다는 뜻이다.

허위 정보를 연구하는 크리스토퍼 네링(Christopher Nehring)은 이 연구 결과를 언급하며 “투명성은 도움이 되지만 그것만으로는 충분하지 않다”며 “딥페이크에 대응하기 위한 새로운 전략을 마련해야 한다”고 말했다.

콘텐츠를 생성하고 편집하는 AI 도구는 갈수록 정교해지고, 사용하기 쉬워지며, 비용도 낮아지고 있다. 이런 이유로 미국 정부 역시 이들 도구 사용에 점점 더 많은 비용을 쓰고 있다.

이 같은 상황에 대한 경고의 목소리는 그동안 여러 차례 제기돼 왔다. 그러나 우리가 대비해 온 것은 주된 위험이 ‘혼란’인 세계였다. 지금 우리가 마주하는 현실은 폭로 이후에도 영향력이 사라지지 않고, 의심이 손쉽게 무기가 되며, 진실을 밝혀내도 상황이 원점으로 돌아가지 않는 세계이다. 그리고 진실을 지키려는 이들은 이미 한참 뒤처져 있다.

The post AI가 낳은 ‘진실의 위기’, 거짓은 들통나도 영향력은 남는다 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.