가짜 콘텐츠 전성시대, 마이크로소프트가 내놓은 해법은?

마이크로소프트가 실시간 인터랙티브 딥페이크 등 고도화된 AI 위협에 대응해 디지털 콘텐츠의 소장 이력과 ‘지문’을 추적하는 기술 표준을 제안했다. 단순한 진위 판독을 넘어 생성과 수정 경로를 투명하게 공개함으로써 디지털 신뢰를 회복하겠다는 취지다.

AI를 활용한 ‘거짓말’은 이제 우리의 온라인 생활 전반에 깊숙이 스며들었다. 그 양상도 다양하다. 최근 백악관 관계자들이 이민 단속 요원의 총격으로 민간인 사망 사건이 잇따라 발생하자 촉발된 미네소타 시위 현장의 이미지를 조작해 공유하고, 이에 대해 문제를 제기하는 사람들을 조롱한 사례처럼 노골적인 경우도 있다. 반면, 러시아에서 우크라이나인의 입대를 막기 위해 퍼뜨린 영상처럼 조용히 소셜미디어 피드에 스며들어 조회 수를 쌓는 방식도 존재한다.

이 같은 혼란 속에서 마이크로소프트는 온라인에서 ‘어떤 콘텐츠가 진짜인지’ 입증하는 방법에 대한 청사진을 마련해 MIT 테크놀로지 리뷰에 공유했다.

최근 마이크로소프트의 AI 안전 연구팀은 디지털 조작을 기록하고 추적하는 여러 방법을 사용해 ‘인터랙티브 딥페이크(interactive deepfake)’나 누구나 접근 가능한 초현실적 모델처럼 오늘날 가장 우려되는 최신 AI 기술에 얼마나 효과적으로 대응할 수 있는지 평가했다. 이후 AI 기업과 소셜미디어 플랫폼이 채택할 수 있는 기술 표준을 권고했다. 인터랙티브 딥페이크는 미리 만들어진 가짜 영상을 보여주는 것이 아니라 실시간 화상 통화나 라이브 방송에서 상대방의 질문에 대답하고 표정을 바꾸며 대화할 수 있는 수준의 기술을 말한다.

마이크로소프트가 권고하는 최적의 기술 표준을 설명하기 위해 네덜란드 화가 렘브란트의 그림을 예로 들어 보겠다. 렘브란트 그림의 진위를 증명하려면 해당 작품의 출처와 소유권 변천 과정을 상세히 기록한 소장 이력을 제시할 수 있다. 또는 사람 눈에는 보이지 않지만 기계가 읽을 수 있는 워터마크를 삽입할 수도 있다. 아니면 그림을 디지털 스캔해 붓터치를 기반으로 마치 지문과 같은 디지털 고유값을 생성할 수도 있다. 렘브란트 작품을 미술관에 전시할 경우 의심 많은 관람객도 이런 증거들을 통해 해당 작품의 원본 여부를 확인할 수 있을 것이다.

이러한 방법들은 이미 온라인 콘텐츠의 진위를 검증하는 과정에서 다양한 수준으로 활용되고 있다. 마이크로소프트는 이들 기법을 60가지 조합으로 구성한 뒤, 메타데이터, 즉 파일에 포함된 생성·수정 정보가 제거되는 경우부터 콘텐츠가 일부 수정되거나 고의로 조작되는 상황까지 다양한 시나리오를 가정해 각각의 조합이 얼마나 효과적으로 작동하는지 모델링해 분석했다. 이후 연구팀은 어떤 조합이 신뢰도가 높은 결과를 보이는지, 그리고 어떤 조합이 신뢰도가 낮은지 구분해 정리했다

마이크로소프트의 에릭 호르비츠(Eric Horvitz) 최고과학책임자(CSO)는 “이번 연구는 오는 8월 발효 예정인 캘리포니아주의 ‘AI 투명성법(AI Transparency Act)’처럼 AI가 만든 콘텐츠임을 이용자에게 명확히 알리도록 의무화한 법을 비롯한 입법 움직임과 영상과 음성을 정교하게 결합하는 AI 기술의 빠른 발전에 자극받아 진행됐다”고 밝혔다.

호르비츠 CSO는 MIT 테크놀로지 리뷰와의 인터뷰에서 “이를 일종의 자율 규제라고 부를 수도 있을 것”이라고 덧붙였다. 하지만 그는 이 연구가 마이크로소프트의 이미지를 강화하는 데에도 도움이 된다고 확신하면서 “우리는 세상에 무슨 일이 일어나고 있는지 알고 싶어 하는 사람들에게 선택받고 신뢰받는 제공자가 되기 위해 노력하고 있다”고 강조했다.

그러나 호르비츠 CSO는 마이크로소프트가 자사 플랫폼 전반에 이 권고안을 적용하겠다고 약속하는 데에는 선을 그었다. 마이크로소프트는 거대한 AI 콘텐츠 생태계의 중심에 있다. 이미지와 텍스트를 생성할 수 있는 ‘코파일럿’을 운영하고 있으며 고객이 오픈AI를 비롯한 주요 AI 기업의 모델에 접근할 수 있게 하는 클라우드 서비스 애저(Azure)를 제공한다. 또한 세계 최대 비즈니스 플랫폼인 링크드인을 소유하고 있으며 오픈AI의 상당한 지분을 보유하고 있다. 그러나 자사 내부에서 실제로 이 권고안을 적용할 것인지 묻자, 호르비츠 CSO는 “회사 전반의 제품 부서와 리더들이 이번 연구에 참여하고 이를 참고해 제품 로드맵과 인프라 방향을 설정했으며, 엔지니어링 팀도 보고서 결과를 바탕으로 후속 조치를 취하고 있다”고만 밝혔다.

이러한 도구에는 본질적인 한계가 있다는 점도 짚고 넘어갈 필요가 있다. 이 도구들이 렘브란트 작품의 의미를 해석해주지 못하는 것처럼 콘텐츠가 사실인지 아닌지를 판단하도록 만들어진 것도 아니다. 다만 해당 콘텐츠가 조작됐는지 여부만을 밝혀낼 뿐이다.

호르비츠 CSO는 빅테크 기업을 ‘진실을 판정하는 주체’로 보는 데 회의적인 입법자들과 일부 인사들에게 이 점을 분명히 설명해야 한다는 입장이다. 그는 “무엇이 진실이고 거짓인지 판단하는 문제가 아니다”라며 “중요한 건 콘텐츠가 어디에서 만들어졌는지를 알려주는 표시를 붙이는 것”이라고 덧붙였다.

이번 연구 참여자는 아니지만 미국 UC버클리의 해니 파리드(Hany Farid) 디지털 포렌식 분야 전문 교수는 “업계가 마이크로소프트의 청사진을 채택한다면 조작 콘텐츠로 대중을 속이기가 훨씬 더 어려워질 것”이라며 “이런 도구를 우회하려 시도하는 개인이나 정부도 물론 있겠지만, 그래도 새로운 기준을 적용하면 상당히 많은 ‘가짜’ 콘텐츠를 제거할 수 있을 것”이라고 긍정적으로 평가했다.

파리드 교수는 “이 방법으로 문제를 완전히 해결할 수 있다고는 생각하지 않는다”면서도 “그래도 상당 부분을 줄여줄 수는 있을 것”이라고 덧붙였다.

하지만 마이크로소프트의 접근법은 다소 순진한 ‘기술 낙관주의’의 사례처럼 보이기도 한다. 사람들이 AI로 생성된 콘텐츠가 거짓임을 ‘알면서도’ 영향을 받는다는 연구 결과가 점점 늘고 있기 때문이다. 최근 우크라이나 전쟁을 다루는 친러시아 성향의 AI 생성 영상에 대한 연구에서도 해당 영상들이 AI로 만들어졌다고 지적하는 댓글이 영상들을 ‘진짜’로 받아들이는 댓글보다 훨씬 적은 반응을 얻은 것으로 나타났다.

파리드 교수는 “아무리 설명해도 자신이 믿고 싶은 것만 믿는 사람들이 있다”고 지적했다. 하지만 그는 “그래도 나는 미국인과 전 세계 시민 대다수가 진실을 알고 싶어 한다고 믿는다”고 덧붙였다.

그러나 많은 사람이 진실을 알고 싶어한다고 해도 기술 기업들은 적극적으로 행동하지 않고 있다. 구글은 2023년부터 자사 AI 도구로 생성된 콘텐츠에 워터마크를 추가하기 시작했는데, 파리드 교수는 이러한 조치가 자신의 연구에 도움이 됐다고 밝힌 바 있다. 또 일부 플랫폼은 마이크로소프트가 2021년 출범을 도운 콘텐츠 출처 표준 ‘C2PA’를 사용한다. 그러나 마이크로소프트가 이번에 제안한 청사진이 아무리 강력하더라도 AI 기업이나 소셜미디어 플랫폼의 비즈니스 모델을 위협하는 순간 결국 ‘권고’에 그칠 가능성이 있다.

파리드 교수는 “마크 저커버그나 일론 머스크 같은 인물들이 ‘AI로 생성됐다’는 표시가 이용자 참여도를 떨어뜨린다고 판단한다면 당연히 그런 표시를 도입하지 않을 것”이라고 지적했다. 메타와 구글은 AI 생성 콘텐츠에 표시를 붙이겠다고 밝혔지만, 지난해 시장 데이터 분석업체 인디케이터(Indicator)에서 실시한 감사 결과 인스타그램, 링크드인, 핀터레스트, 틱톡, 유튜브에 게시한 시험 게시물 중 단 30%만이 AI 생성 콘텐츠라고 정확히 표시된 것으로 나타났다.

보다 강력한 콘텐츠 검증 조치는 전 세계에서 논의 중인 여러 AI 규제를 통해 마련될 수 있다. 유럽연합(EU)의 AI법(AI Act)과 인도 등지에서 제안된 규제는 콘텐츠가 AI로 생성됐다는 사실을 AI 기업이 어떤 형태로든 공개하도록 의무화할 예정이다.

마이크로소프트의 우선 과제 중 하나는 당연히 이러한 규제 형성 과정에 영향력을 행사하는 것이다. 마이크로소프트는 캘리포니아주의 AI 투명성법 제정 과정에서 로비 활동을 벌였다. 이에 대해 호르비츠 CSO는 “그 결과 기술 기업이 AI 생성 콘텐츠를 어떻게 공개해야 하는지에 대한 요건이 ‘좀 더 현실적으로’ 조정됐다”고 말했다.

그러나 콘텐츠 검증 기술이 부실하게 도입될 경우 벌어질 수 있는 매우 현실적인 문제에 대한 우려도 존재한다. 입법자들은 콘텐츠의 진위 여부를 검증할 수 있는 도구를 요구하고 있지만, 이런 도구는 아직 취약한 면이 있다. 콘텐츠의 AI 생성 여부를 표시하는 라벨링 시스템이 성급하게 도입되거나 플랫폼마다 일관성 없이 적용되거나 잦은 오류를 보인다면, 사람들은 해당 시스템 자체를 불신하게 될 수 있고 그러면 콘텐츠 검증을 강화하려던 시도가 역효과를 낼 수도 있다. 그러므로 연구진은 경우에 따라 잘못된 판단을 내릴 가능성이 있는 결과를 보여주기보다는 아무것도 표시하지 않는 편이 나을 수 있다고 주장한다.

불완전한 도구는 기술적 취약점과 사회적 맥락을 동시에 악용하는 ‘사회기술적 공격(sociotechnical attack)’이라는 새로운 공격 경로를 만들어낼 수도 있다. 예를 들어 누군가 정치적으로 민감한 실제 이미지를 가져와 AI 도구로 해당 이미지의 매우 사소한 일부 픽셀만 변경했다고 가정해 보자. 이 이미지가 온라인에 퍼질 경우 플랫폼은 이를 AI로 조작된 콘텐츠로 잘못 분류할 수 있다. 그러나 출처 추적 기술과 워터마크 도구를 함께 활용한다면 플랫폼은 해당 콘텐츠가 일부만 AI로 생성되었음을 명확히 설명하고 구체적으로 어떤 부분이 변경됐는지도 확인해줄 수 있다.

캘리포니아주의 AI 투명성법은 미국에서 이러한 도구들이 처음으로 본격적인 시험대에 오르는 사례가 될 전망이다. 그러나 집행 과정에서의 변수도 적지 않다. 도널드 트럼프 대통령이 지난해 말 산업에 ‘부담이 된다’고 판단되는 주(州) 차원의 AI 규제를 제한하겠다는 취지의 행정명령을 내렸기 때문이다. 트럼프 행정부는 전반적으로 허위정보 확산을 억제하려는 시도에 비판적인 태도를 보여왔다. 지난해에는 정부효율부(DOGE)를 통해 허위정보 관련 보조금을 취소하기도 했다. 게다가 트럼프 행정부의 공식 정부 채널 역시 AI로 조작된 콘텐츠를 공유한 사례가 있다. (MIT 테크놀로지 리뷰는 국토안보부가 이민자 추방 홍보에 구글·어도비 AI 활용하고 있다고 보도한 바 있다.)

필자는 이러한 정부 출처에서 나오는 가짜 콘텐츠 역시 일반 소셜미디어에서 유통되는 콘텐츠만큼 우려되는지 호르비츠 CSO에게 물었다. 그는 처음에 답변을 피하다 “정부도 다양한 유형의 조작적 허위정보를 만들어온 주체에서 예외는 아니다. 그리고 이는 전 세계적인 현상이다”라고 답했다.

The post 가짜 콘텐츠 전성시대, 마이크로소프트가 내놓은 해법은? appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.