실존 인물 딥페이크 거래소로 전락한 ‘시비타이’…AI 혁신의 ‘어두운 민낯’?

유명 VC 앤드리슨 호로위츠의 투자를 받으며 성장한 플랫폼 ‘시비타이’가 인플루언서와 일반인을 대상으로 한 성적 콘텐츠 제작을 사실상 방조·조장하고 있다는 비판이 거세지고 있다.

벤처캐피털(VC) 회사 앤드리슨 호로위츠(Andreessen Horowitz)의 투자를 받은 인공지능(AI) 생성 콘텐츠 거래 플랫폼 시비타이(Civitai)가 유명인의 딥페이크를 제작할 수 있는 ‘맞춤형 지시 파일(custom instruction file)’을 이용자들이 구매할 수 있게 해주고 있는 것으로 드러났다. 이 가운데 일부 파일은 사이트에서 금지된 포르노 이미지를 생성하도록 특별히 설계된 것으로 분석됐다.

맞춤형 지시 파일이란 AI에게 “이렇게 만들어라”라고 구체적으로 가르쳐주는 파일이다. 일반적으로 AI 이미지·영상 생성 과정에서는 기본 모델만 쓰면 한계가 있는데, 이 파일을 추가하면 AI의 성향과 출력 결과를 바꿀 수 있다.

스탠퍼드대와 인디애나대 연구진은 시비타이 내에서 ‘바운티(bounty)’라고 불리는 이용자의 콘텐츠 제작 요청 사례를 분석했다. 그 결과, 2023년 중반부터 2024년 말까지 접수된 바운티 가운데 대부분이 애니메이션 콘텐츠 요청이었지만, 상당수는 실제 인물의 딥페이크 제작 요청이며, 특히 이 중 90%가 여성의 딥페이크 제작 요청으로 확인됐다. 이 연구 결과는 아직 동료 평가를 거치지는 않았다.

최근 일론 머스크의 AI 기업 xAI가 개발한 챗봇 ‘그록(Grok)’이 노골적 이미지를 생성해 논란이 된 사례처럼 그동안 딥페이크, 즉 진짜 사람처럼 보이게 조작한 가짜 영상·사진 문제를 둘러싼 논쟁은 주로 플랫폼의 관리 책임에 초점이 맞춰져 왔다.

딥페이크 ‘현상금 시장’ 된 시비타이…여성 대상 요청 90%

그러나 시비타이의 경우 상황은 다소 복잡하다. 이 플랫폼의 마켓플레이스에는 이미지·영상·AI 모델뿐 아니라, ‘LoRA’라고 불리는 지시 파일도 거래되고 있다. 이 파일은 이미지 생성 AI 모델인 스테이블 디퓨전(Stable Diffusion)과 같은 주류 AI 모델이 학습하지 않은 콘텐츠까지 생성하도록 유도하는 역할을 한다. 이용자들은 이 파일을 다른 도구와 결합해 노골적이거나 성적인 딥페이크를 제작할 수 있다. 연구진은 시비타이 내 딥페이크 요청의 86%가 LoRA와 관련돼 있음을 확인했다.

이러한 바운티 요청에서 이용자들은 미국 출신 틱토커이자 댄서인 인플루언서 찰리 다멜리오(Charli D’Amelio)나 가수 그레이시 에이브럼스(Gracie Abrams) 등 유명인의 이미지를 생성할 수 있는 ‘고품질’ AI 모델을 요구했다. 이들은 웹상에서 관련 이미지를 수집할 수 있도록 해당 인물들의 소셜미디어 프로필 링크를 함께 첨부하기도 했다. 일부 요청은 특정 인물의 전신을 구현하거나 문신을 정확히 재현하고, 머리 색깔을 변경할 수 있는 기능까지 요구했다. 또 ASMR 영상 제작자 등 특정 분야 여성들을 대상으로 한 요청도 다수 포함되어 있었다. 가령 이용자의 아내로 알려진 여성의 딥페이크를 제작해 달라는 요청도 있었다.

사이트 이용자라면 누구나 위 작업을 수행한 AI 모델을 제출할 수 있었다. 이 중 가장 우수한 결과물로 뽑힐 경우 50센트에서 5달러까지의 보상을 받았다. 연구진은 전체 딥페이크 바운티 가운데 약 92%가 실제로 보상을 받은 것으로 집계됐다고 밝혔다. 시비타이와 앤드리슨 호로위츠 측은 취재 요청에 응하지 않았다.

이용자들이 성적으로 노골적이지 않은 딥페이크를 만들기 위해 이러한 LoRA를 구매하는 것도 가능했다. 다만 이 경우에도 시비타이의 이용약관을 위반하고 윤리적으로 문제가 된다는 사실은 변함이 없다. 그러나 시비타이는 외부 도구를 활용해 인물의 포즈를 바꾸는 것처럼 이미지 생성 결과물을 추가로 맞춤화하는 방법에 관한 교육 자료도 제공하고 있다. 사이트에는 용자가 작성한 글도 게시돼 있으며, AI 모델에 포르노 콘텐츠를 생성하도록 지시하는 구체적인 방법 역시 상세히 설명돼 있다. 연구진은 플랫폼 내 음란물 콘텐츠가 증가하고 있으며, 현재 매주 들어오는 요청 대부분이 NSFW(노골적인 콘텐츠를 뜻하는 Not Safe For Work의 약어)임을 확인했다.

규제는 느슨, 책임은 회피

스탠퍼드대 사이버정책센터(Cyber Policy Center) 박사후 연구원이자 연구 책임자 중 한 명인 매튜 데버나(Matthew DeVerna)는 “시비타이는 이러한 문제를 조장하는 인프라를 제공할 뿐만 아니라, 이용자들에게 이를 활용하는 방법까지 명시적으로 가르치고 있다”고 지적했다.

시비타이는 실제 인물의 성적 딥페이크만 금지해 오다 2025년 5월 모든 딥페이크 콘텐츠를 전면 금지하겠다고 발표했다. 그럼에도 불구하고 이 조치 이전에 제출된 수많은 딥페이크 요청은 여전히 사이트에 게시돼 있으며, 우수한 결과물 중 상당수도 여전히 구매 가능한 상태로 남아 있는 것으로 MIT 테크놀로지 리뷰 취재 결과 확인됐다.

데버나 연구원은 “회사가 취하는 접근 방식은 플랫폼에서 가능한 한 많은, 이른바 ‘창의성’을 장려하기 위해 개입을 최소화하려는 것처럼 보인다”고 말했다.

이용자들은 실제 화폐로 구매한 사이트 내 가상 화폐 ‘버즈(Buzz)’로 LoRA를 구매한다. 시비타이의 신용카드 결제 대행사는 2025년 5월 동의 없는 콘텐츠 유통 문제가 지속된다는 이유로 회사와의 거래를 중단했다. 이후 노골적인 콘텐츠를 결제하려면 이용자들은 기프트카드나 암호화폐를 이용해 버즈를 구매해야 한다. 다만, 시비타이는 비노골적 콘텐츠용으로는 별도의 내부 화폐를 제공하고 있다.

시비타이는 딥페이크 제작을 요청하는 바운티를 자동으로 태그하고, 콘텐츠에 등장한 당사자가 직접 삭제를 요청할 수 있는 절차도 마련해 두고 있다. 이를 통해 딥페이크 요청을 상당 부분 식별할 수 있지만, 적극적인 사전 관리보다는 여전히 이용자 신고에 의존하고 있다는 지적이 나온다.

이용자 행위에 대한 플랫폼의 법적 책임은 아직 명확하지 않다. 일반적으로 기술 기업들은 통신품위법(CDA) 제230조에 따라 콘텐츠 관련 법적 책임으로부터 폭넓은 보호를 받지만, 이 보호가 무제한적인 것은 아니다.

라이언 칼로(Ryan Calo) 워싱턴대 로스쿨의 기술·AI 전문 교수는 “웹사이트에서 불법 거래를 고의로 조장하거나 용이하게 해서는 안 된다”고 강조했다.

CDA는 미국 의회가 1996년 인터넷에서 미성년자에게 노골적 성적 콘텐츠가 전달되는 것을 제한하려는 목적으로 제정한 법률이다.

시비타이는 2024년 오픈AI와 앤트로픽 등 주요 AI 기업들과 함께 AI로 생성된 아동 성착취물의 제작과 확산을 막기 위한 설계 원칙을 채택했다. 이는 2023년 스탠퍼드 인터넷 관측소(Stanford Internet Observatory)가 아동 성착취 커뮤니티에서 언급된 AI 모델 대부분이 ‘주로 시비타이를 통해 확보된’ 스테이블 디퓨전 기반 모델이라는 점을 지적한 데 따른 조치였다.

반면 성인 대상 딥페이크 문제는 콘텐츠 플랫폼이나 이를 지원하는 벤처캐피털 업계로부터 상대적으로 주목받지 못하고 있다는 평가가 나온다. 칼로 교수는 “이들은 이 문제를 충분히 심각하게 받아들이지 않고 있으며, 지나치게 관대하다고 말할 정도다”라며 “법 집행 기관이나 민사 법원 역시 제대로 대응하지 못하고 있다”고 말했다.

시비타이는 2023년 11월 앤드리슨 호로위츠로부터 500만 달러(약 72억 원)의 투자를 유치했다. 앤드리슨 호로위츠가 공개한 영상에서 공동창업자이자 최고경영자(CEO)인 저스틴 마이어(Justin Maier)는 개인 목적에 맞는 AI 모델을 찾고 공유하는 대표 플랫폼을 구축하는 것이 목표라고 밝혔다. 그는 “엔지니어 중심의 틈새시장이던 이 공간을 더 많은 사람들이 쉽게 접근할 수 있도록 만들고자 했다”고 말했다.

앤드리슨 호로위츠가 투자한 기업 중에 딥페이크 문제를 일으키는 기업은 시비타이만이 아니다. MIT 테크놀로지 리뷰는 지난 2월 보티파이 AI(Botify AI)도 실제 배우를 닮은 AI 동반자를 운영하며 이들이 자신을 18세 미만이라고 밝히고 성적 대화를 나누거나 ‘노출 사진’을 제공하고, 심지어는 개인이 법적으로 성관계를 가질 수 있는 최저 연령을 규정하는 성적 동의 연령법(age of consent)을 “임의적이며 깨져야 할 규칙”으로 묘사했다고 보도한 바 있다.

The post 실존 인물 딥페이크 거래소로 전락한 ‘시비타이’…AI 혁신의 ‘어두운 민낯’? appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.