AI가 선거 판도 흔드는 시대 열리나

AI는 정치적 설득에 탁월하며 설득 작업을 대규모로 자동화하는 것도 가능하다. 그러나 우리는 이런 방식으로 AI를 활용하는 상황에 대비가 되어 있지 않다.

2024년 1월 미국 프라이머리(예비경선)를 앞두고 뉴햄프셔주 전역의 가정에서는 전화벨이 울렸다. 수화기 너머로 민주당원들에게 “투표하지 말라”고 말하는 조 바이든 당시 미국 대통령의 목소리가 들려왔다. 진짜 대통령의 목소리 같았지만 아니었다. 이 전화는 AI가 생성한 ‘가짜 전화’였다.

현재 시점에서 보면 그 ‘가짜 전화’에 사용된 기술은 구식처럼 느껴진다. 오픈AI의 소라(Sora)와 같은 도구를 사용하면 이제는 아주 손쉽게 매우 설득력 있는 합성 영상을 제작할 수 있다. 정치인이나 유명인의 메시지, 심지어 뉴스 한 꼭지 전체도 AI로 단 몇 분 만에 조작할 수 있다. 마치 ‘진짜’ 같은 가짜뉴스로 선거가 좌초될 수 있다고 우려하는 것은 당연한 일이 됐다. 그 이유도 충분히 납득할 만하다.

그러나 그게 전부가 아니다. 더 큰 문제는 AI가 단순히 사람을 모방하는 것을 넘어 적극적으로 사람들을 설득할 수 있다는 점이다. 그 ‘설득력’이 얼마나 강력한지는 12월 초에 발표된 새로운 연구 결과에서 확인할 수 있다. 두 건의 대규모 동료평가 연구에 따르면 AI 챗봇은 기존의 정치 광고보다도 훨씬 더 효과적으로 유권자들의 의견을 크게 바꾸는 데 성공했다.

앞으로 몇 년 후면 우리는 AI가 더 널리 활용되면서 각각의 상대에 맞춤화된 주장을 제공하고 설득 효과를 시험하면서 조용히, 대규모로 사람들의 정치적 의견을 원하는 방향으로 유도하는 모습을 목격하게 될 것이다. AI의 활용이 모방에서 적극적인 설득으로 전환되는 것에 대해 우려가 커질 수밖에 없다.

문제는 현대의 AI가 단순히 목소리나 얼굴을 복제하는 것에서 그치지 않고, 대화를 나누고 감정을 읽어내며 어조를 조절해 설득력을 높인다는 점이다. 또한 AI는 이제 다른 AI에 명령을 내려 이미지, 영상, 음성 모델이 각 대상에 가장 설득력 있는 콘텐츠를 생성하도록 지시할 수 있다. 이러한 요소들을 종합하면 AI를 활용한 ‘설득’ 시스템을 어떻게 구축할 수 있을지 쉽게 상상할 수 있다. AI 하나가 메시지를 작성하고, 다른 AI가 시각 자료를 제작하며, 또 다른 AI가 이를 플랫폼에 배포해 효과를 모니터링할 수 있는 것이다. 여기에 인간의 개입은 필요하지 않다.

10년 전만 해도 온라인에서 효과적인 캠페인을 펼치려면 수많은 가짜 계정을 사용해 각종 ‘밈’을 제작하고 유포할 대규모 인력이 필요했다. 이제는 그렇지 않다. 온라인 캠페인을 저렴한 비용으로, 눈에 띄지 않게 자동화할 수 있다. 고객 서비스 봇과 학습용 앱을 구동할 때 사용되는 기술이 특정 정치적 의견을 유도하거나 정부가 선호하는 ‘서사’를 증폭시키는 데에도 활용될 수 있다. 이러한 ‘설득’ 작업은 광고나 자동 전화에만 국한되지 않으며, 사람들이 이미 매일 사용하는 소셜미디어 피드, 언어 학습 앱, 데이팅 플랫폼, 심지어 미국 대중에 영향을 미치려는 세력이 개발해 판매하는 음성 비서까지 다양한 도구에 자연스럽게 녹아들 수 있다. 이런 작업은 사람들이 이미 즐겨 사용하는 인기 AI 도구의 API를 악용하는 악의적 행위자들이 주도할 수도 있지만, 처음부터 설득 기능이 내장된 완전히 새로운 앱이 만들어질 수도 있다.

게다가 비용도 저렴하다. 백만 달러(약 14억 7,000만 원)보다 적은 금액으로 미국 내 등록된 모든 유권자에게 맞춤형 대화 메시지를 생성할 수 있다. 계산은 복잡하지 않다. 1인당 10회의 주고받는 간단한 대화(약 2,700개의 텍스트 토큰)를 가정하고 챗GPT API의 현재 요금으로 가격을 계산하면 된다. 미국의 등록 유권자 수가 1억 7,400만 명이라 해도 총 비용은 여전히 100만 달러 미만이다. 2016년 선거를 좌우한 8만 명의 부동층 유권자를 대상으로 한다면 3,000달러 미만의 금액으로도 충분하다.

이는 전 세계적인 문제이지만, 선거의 규모와 외국 세력의 관심도를 고려하면 미국에서 특히 심각한 문제이다. 미국이 신속히 대응하지 못한다면, 2028년 차기 대선이나 심지어 2026년 중간선거조차 ‘설득 자동화’를 먼저 구현한 세력이 승리할 수 있다.

2028년의 위협

이전에는 AI가 선거에 미치는 위협이 과장되었다는 지적도 있었지만, 상황이 변하고 있음을 보여주는 연구 결과가 점점 늘어나고 있다. 최근 연구에서는 GPT-4가 미국 정치의 양극화 주제에 대한 논평 생성 시 커뮤니케이션 전문가의 설득력을 능가하며, 실제 유권자와의 토론에서는 비전문가 인간보다 약 70%의 확률로 더 설득력 있는 것으로 나타났다.

12월 초 발표된 두 건의 주요 연구에서는 이러한 결과를 미국, 캐나다, 폴란드, 영국 등의 실제 선거 상황으로 확장하여, 짧은 챗봇 대화로도 유권자의 태도를 최대 10%포인트까지 움직일 수 있음을 보여줬다. 특히 미국 참가자들의 의견 변화 폭은 2016년과 2020년에 실제로 사용된 정치 광고로 인한 변화 대비 거의 4배에 달했다. 게다가 모델을 설득력 개선에 맞춰 최적화한 경우 변화 폭은 25%포인트까지 치솟았다. 이는 믿기 어려운 수준의 변화였다.

기존에는 자원이 풍부한 기업만 활용할 수 있었던 현대적 대형언어모델(LLM)은 점점 더 사용이 쉬워지고 있다. 오픈AI, 앤트로픽, 구글 등 주요 AI 공급업체들은 최첨단 모델에 사용 정책, 자동화된 안전 필터, 계정 모니터링을 적용하고 있으며, 때로는 규칙을 위반한 사용자를 정지시키기도 한다. 그러나 이러한 제한은 자사 플랫폼을 통해 발생하는 트래픽에만 적용되며, 인터넷 연결만 있으면 누구나 다운로드할 수 있는 오픈소스 및 오픈웨이트 모델에는 적용되지 않는다. 오픈소스 및 오픈웨이트 모델은 일반적으로 상용 모델보다 규모가 작고 성능이 떨어지지만, 연구에 따르면 프롬프트를 정교하게 사용하고 미세조정을 거칠 경우 이러한 모델들도 이제 선도적인 상용 모델의 성능에 필적할 수 있는 것으로 나타났다.

따라서 이제는 자원이 풍부한 조직이든 소규모 단체든 행위자들이 정치적으로 설득력 있는 AI를 대규모로 활용할 수 있게 되었다. 실제로 일부 국가에서는 이미 초기 사례가 나타났다. 인도의 2024년 총선에서는 유권자 세분화, 부동층 유권자 파악, 자동전화 및 챗봇을 이용한 맞춤형 메시지 전달 등을 위해 AI에 수천만 달러가 투입된 것으로 알려졌다. 대만 공무원과 연구진은 중국과 연계된 집단이 생성형 AI를 활용해 교묘한 허위정보를 생산한 사례들을 기록하고 있다. 그 범위는 딥페이크부터 중국 공산당이 승인한 메시지에 편향된 언어모델 생성 텍스트까지 다양하다.

이러한 기술이 미국 선거에 활용되는 것은 시간문제일 뿐이며, 어쩌면 실제로 이미 활용되고 있는지도 모른다. 외국 적대 세력들은 선제적으로 움직일 수 있는 유리한 위치에 있다. 중국, 러시아, 이란 등은 이미 대규모의 가짜뉴스 제작소, 봇 계정들, 여론 조작 네트워크를 운영하고 있다. 여기에 유창한 현지 언어로 현지 사정에 적합한 정치 콘텐츠를 생성하는 오픈소스 언어모델이 결합되면 이러한 작전은 더욱 강력해질 수 있다. 사실 언어나 맥락을 이해하는 ‘인간’ 운영자는 더 이상 필요하지 않다. 약간의 조정만으로도 AI 모델은 해당 국가에 자리잡은 인간 운영자 없이도 지역 활동가, 노조 대표, 불만 가득한 부모를 사칭할 수 있다. 미국의 선거 캠프들도 곧 이런 기술을 활용하게 될 것이다. 선거 캠프에서는 유권자를 세분화하고 메시지를 테스트하며 최적화된 전달 방법을 파악하는 작업을 한다. 여기에 AI를 도입하면 이 모든 작업의 비용을 낮출 수 있다. 여론조사로 슬로건을 테스트하는 대신 AI로 수백 개의 주장을 생성해 유권자에게 일대일로 전달하고 실시간으로 어떤 주장이 여론을 바꾸는지 관찰할 수 있다.

핵심은 명백하다. ‘설득’이 효과적이면서도 저렴해졌다. 선거 캠프, 정치활동위원회(PAC), 외국 세력, 옹호 단체, 기회주의자까지 누구든 저렴한 AI 기술을 활용할 수 있다. 그러나 이에 대한 규제는 거의 없는 상황이다.

정책 공백

대부분의 정책 입안자들은 이러한 기술의 발전 속도를 따라잡지 못했다. 지난 몇 년간 미국 입법자들은 딥페이크에만 집중하고 더 광범위한 영향을 미칠 수 있는 ‘AI 기반 설득’의 위협은 무시해왔다.

외국 정부들은 이 문제를 더 심각하게 받아들이기 시작했다. 유럽연합(EU)의 2024년 인공지능법(AI Act)은 선거와 관련된 설득에 AI를 활용하는 것을 ‘고위험’ 사용 사례로 분류한다. 이 법에 따라 투표 행태에 영향을 주도록 설계된 모든 시스템은 이제 엄격한 요건을 적용받게 됐다. 선거 운동 행사 계획이나 운영 최적화에 사용되는 AI 시스템과 같은 행정용 도구는 예외다. 그러나 정치적 신념이나 투표 결정에 영향을 미치기 위한 도구는 규제 대상이다.

반면 미국은 지금까지 의미 있는 조치를 취하려 하지 않았다. 미국에는 정치적 영향력 행사에 해당하는 행위에 대한 구속력 있는 규칙도, 집행 시 지침이 될 외부 기준도, 온라인에 설득을 위한 AI 생성 콘텐츠가 확산될 경우 이를 추적할 플랫폼 간 공동 인프라도 존재하지 않는다. 물론 연방 및 주 정부가 규제를 마련하려는 움직임을 보이고 있기는 하다. 연방선거위원회(FEC)는 기존의 사기 방지 조항을 적용하고 있고, 연방통신위원회(FCC)는 방송 광고에 대한 제한적 공개 규정을 제안했으며, 소수의 일부 주에서는 딥페이크 관련 법안을 통과시키기도 했다. 그러나 이러한 노력들은 단편적이며 대부분의 디지털 선거 운동은 규제 대상에서 제외된다.

실제로 은밀한 여론조작 캠페인을 탐지해 해체하는 책임은 거의 전적으로 민간 기업들에 맡겨져 왔다. 따라서 각 기업마다 자체 규칙이 있지만 사각지대도 존재한다. 구글과 메타는 AI로 정치 광고를 생성할 경우 AI 생성 콘텐츠라는 점을 공개하도록 요구하는 정책을 채택했다. X(구 트위터)는 정치 광고 규제에 대해 대체로 침묵을 지키고 있는 반면, 틱톡은 모든 유료 정치 광고를 금지하고 있다. 그러나 이러한 규칙들은 제한적이기 때문에 돈을 주고 구매해 공개적으로 게시되는 극히 일부의 콘텐츠에만 적용된다. 가장 중요할 수 있는, 구매할 필요 없이 비공개적으로 이루어지는 ‘설득’ 콘텐츠는 규칙에 언급되지 않는다.

다만, 일부 기업들이 은밀한 여론조작 캠페인에 관한 정기 위협 보고서를 공개하기 시작했다는 점은 긍정적이다. 앤트로픽, 오픈AI, 메타, 구글까지 모두 허위 계정 삭제 사례를 공개했다. 그러나 이는 자발적인 노력이며 감사 대상은 아니다. 무엇보다도 이러한 조치 중 어느 것도 오픈소스 모델과 플랫폼 외부 인프라를 활용해 플랫폼의 제한을 완전히 우회하려는 시도는 막지 못한다.

바람직한 전략은?

미국이 정치 영역에서 AI를 완전히 금지할 필요는 없다. AI를 잘 활용하면 오히려 민주주의를 강화할 수도 있다. 가령 후보자 챗봇을 잘 설계하면 유권자들이 주요 쟁점에 대한 후보자의 입장을 이해하는 데 도움을 줄 수 있으며, 직접 질문에 답하거나 복잡한 정책을 쉬운 말로 설명할 수 있다. 연구에 따르면 AI가 음모론에 대한 믿음을 줄일 수도 있다고 한다.

그렇다고 해도 미국이 ‘AI를 활용한 설득’의 위협에서 자국민을 보호하려면 몇 가지 조치를 취해야 한다. 첫째, 설득 기능이 내장된 ‘외국산 정치 기술’을 경계해야 한다. 이러한 적대적 정치 기술은 게임 내 캐릭터가 특정 정치적 논점을 반복하는 외국 제작 비디오 게임, 추천 알고리즘이 특정 논리에 편향된 소셜미디어 플랫폼, 일상 수업에 은밀한 메시지를 삽입하는 언어 학습 앱 등의 형태를 취할 수 있다.

AI표준혁신센터(Center for AI Standards and Innovation)에서 최근 발표한 ‘딥시크 분석’과 같은 평가 작업은 특히 중국, 러시아, 이란과 같은 국가들의 AI 제품들이 널리 배포되기 전에 이를 파악하고 평가하는 데 초점을 맞춰야 한다. 이를 통해 위험을 발견하고 해결하려면 정보 기관, 규제 기관, 플랫폼 간의 협력이 필요할 것이다.

둘째, 미국은 AI를 활용한 ‘설득’을 규제하는 규칙을 마련하는 데 주도적 역할을 해야 한다. 여기에는 해외에서 대규모로 캠페인을 벌일 때 필요한 컴퓨팅 파워에 대한 접근을 제한하는 것도 포함된다. 많은 행위자들이 기존 모델을 임대하거나 자체 모델을 학습시키기 위한 GPU를 확보하려고 할 것이기 때문이다. 또한 정부, 표준 기관, 자발적 산업 약속을 통해 정치 콘텐츠 생성 능력이 있는 AI 시스템의 운영 방식에 대한 명확한 기술 표준을 수립해야 한다. 특히 민감한 선거 기간에 그런 AI 시스템을 어떻게 운영할지에 대한 표준 마련이 시급하다. 미국 국내적으로는 ‘표현의 자유’를 보장하는 수정헌법 제1조 문제를 고려하면서 AI로 생성하는 정치 메시지에 적용될 공개 의무의 범위를 결정해야 한다.

마지막으로, 외국 적대 세력들은 해외 서버, 오픈소스 모델, 제3국의 중개업체 등을 활용해 이러한 안전장치를 회피하려 할 것이다. 따라서 외교 정책적 대응도 필요하다. 예를 들어 다자간 선거 무결성 협정을 맺어 기본 규범을 법제화할 수도 있다. 이를 바탕으로, AI 시스템을 사용해 다른 국가의 유권자를 조작하는 국가에 공동 제재를 가하고 해당 사실을 공개적으로 밝힐 수 있을 것이다.

이를 위해서는 공동 모니터링 인프라 구축, 공개 및 출처 표준 마련, 국경을 넘는 설득 캠페인에 대한 공동 대응 준비가 필요할 것이다. 이는 이미 많은 작전들이 현재의 탐지 도구로는 파악하기 어려운 불투명한 영역으로 이동하고 있기 때문이다. 미국은 또한 G7 및 OECD와 같은 포럼에서 선거 조작이 의제에 포함되도록 노력해야 하며, ‘AI 설득’과 관련된 위협이 개별적 기술 문제가 아닌 ‘집단적 안보 문제’로 다루어지도록 해야 한다.

실제로 선거 보안을 위한 과제는 미국 혼자서는 해결할 수 없다. ‘AI 기반 설득’ 캠페인을 감지하는 레이더 시스템을 가동하려면 동맹국 및 협력국과의 협력이 필수적이다. 여론조작 캠페인은 국경에 얽매이지 않으며, 오픈소스 모델과 해외 서버는 항상 존재할 것이다. 목표는 이를 근절하는 것이 아니라 AI를 쉽게 악용할 수 없도록 진입 장벽을 높이고 들키지 않고 활동할 수 있는 기회를 축소하는 것이다.

‘AI 기반 설득’의 시대가 코앞에 다가왔고, 미국의 적대국들은 이를 악용할 준비를 마쳤다. 반면 미국 내 법규는 시대에 뒤떨어졌고, 안전장치는 범위가 너무 좁으며, 감독은 대부분 자발적 수준에 머물고 있다. 지난 10년간 바이러스처럼 퍼진 거짓말과 조작된 영상이 우리에게 영향력을 행사했다면, 다음 10년은 더 교묘한 장치, 즉 합리적이고 친숙하며 마음을 바꾸기에 충분할 정도로 설득력 있는 메시지들이 우리를 흔들려고 할 것이다.

중국, 러시아, 이란 등에게는 미국의 개방된 정보 생태계를 악용하는 것이 전략적 기회다. 따라서 미국은 ‘AI 기반 설득’을 먼 위협이 아닌 현재의 현실로 대하는 전략이 필요하다. 이를 위해서는 민주적 담론에 대한 위험을 냉정하게 평가하고, 실질적인 기준을 마련하며, 이를 둘러싼 기술적, 법적 인프라를 구축해야 한다. 가만히 앉아서 그냥 기다리기만 하면 너무 늦을 것이다.

이 글을 쓴 탈 펠드먼(Tal Feldman)은 예일 로스쿨에서 기술 및 국가안보 분야를 중점적으로 공부하고 있는 학생이다. 로스쿨 진학 전 연방 정부 기관에서 AI 모델을 구축한 경험이 있으며, 슈워츠먼 장학금 및 트루먼 장학금을 받았다. 다른 저자인 아니시 파푸(Aneesh Pappu)는 스탠퍼드 대학교의 박사 과정생이자 나이트-헤네시 장학생이며, 구글 딥마인드의 연구 과학자로서 AI 에이전트, AI 보안, 기술 정책을 연구하고 있다. 스탠퍼드 진학 전에는 마셜 장학생이었다.

The post AI가 선거 판도 흔드는 시대 열리나 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.