성균관대 연구진, AI가 특정 목소리 ‘잊게’ 만드는 기술 개발…오디오 딥페이크 방지 기대

고종환 성균관대학교 전자전기공학부 교수가 이끄는 연구팀이 인공지능(AI)이 특정 화자의 목소리를 선택적으로 ‘잊도록’ 만드는 언러닝(Unlearning) 기술을 개발했다. 이 기술은 딥페이크 음성 사기나 무단 복제를 방지하기 위한 새로운 대응 방식으로 주목받고 있다.

‘머신 언러닝(machine unlearning)’이라는 기술로 AI 모델이 특정 목소리를 ‘잊도록’ 만들 수 있다는 연구 결과가 나왔다. 타인의 음성을 모방해 사기나 범죄에 악용되는 오디오 딥페이크 문제를 막기 위한 중요한 첫걸음이 될 수 있다는 평가가 나온다.

최근 인공지능 기술의 발전으로 텍스트 음성 변환(text-to-speech, TTS) 기술은 단어를 기계적으로 읽어주는 수준을 넘어, 사람의 말투와 억양까지 정교하게 재현할 수 있을 만큼 고도화됐다. 이제는 단 몇 초 분량의 음성만 있어도 누구의 목소리든 자연스럽게 흉내 낼 수 있는 시대가 된 것이다.

최근 머신 언러닝을 음성 생성에 처음으로 적용한 논문의 공동 저자로 참여했한 고종환 성균관대학교 전자전기공학부 교수는 “이제는 누구의 목소리든 몇 초의 음성만으로 재현하거나 복제할 수 있는 시대”라며 연구 배경을 설명했다.

실제로 복제된 목소리는 각종 사기, 허위 정보 유포, 온라인 괴롭힘 등에 이미 악용되고 있다. 오디오 신호처리를 연구하는 고 교수와 공동 연구진은 이러한 ‘음성 기반 신원 도용’을 막고자 머신 언러닝 기법을 실험에 도입하게 됐다. 고 교수는 “이제 사람들은 자신의 동의 없이 목소리가 생성되는 상황에서 이를 거부할 수 있는 방법을 찾기 시작했다”고 말했다.

AI 기업들은 일반적으로 모델의 악용을 방지하기 위해 강력한 통제 장치를 마련해 두고 있다. 예컨대 챗GPT에 누군가의 전화번호를 묻거나 불법적인 정보를 요청하면 대부분 “도와줄 수 없다”는 응답을 받게 된다. 하지만 그간 수많은 사례에서 확인됐듯이, 프롬프트를 정교하게 작성하거나 모델을 미세 조정하는 방식으로 제한된 정보를 우회적으로 끌어내는 일도 가능하다. 겉보기에는 정보를 잊은 것처럼 보여도 실제로는 모델 내부 어딘가에 해당 정보가 남아 있어 적절한 기술을 사용하면 다시 꺼내 쓸 수 있는 상태인 것이다.

지금까지 기업들은 모델 악용을 막기 위해 ‘가드레일’을 설치하는 방식으로 대응해 왔다. 사용자의 입력(프롬프트)이나 모델의 출력 결과에 허용되지 않은 정보가 포함돼 있는지를 감지해 차단하는 식이다. 반면 머신 언러닝은 아예 모델이 특정 정보를 기억하지 못하도록 만드는 방식이다. 민감한 데이터를 학습한 기존 모델과 해당 데이터를 활용해 해당 정보를 아예 배우지 않은 것처럼 초기화된 새로운 모델을 만들어내는 개념이다. 머신 언러닝은 AI 연구에서 꽤 오래된 개념이지만 대형언어모델(LLM)에 본격적으로 적용되기 시작한 것은 최근 몇 년 사이의 일이다.

이번 연구에 참여한 성균관대학교 김진주 석사과정 연구원은 “기존의 가드레일 방식은 민감한 데이터를 울타리로 둘러 접근을 막는 것과 같다”고 설명했다. 그녀는 “사람들이 울타리를 넘지는 못하더라도 그 아래를 파고들거나 위로 넘으려는 시도는 계속될 수 있다”며 “반면 언러닝은 아예 그 울타리 내에 있는 정보를 없애버리는 방식”이라고 덧붙였다. 

다만 현재 TTS 시스템 구조는 이러한 언러닝 방식을 훨씬 더 복잡하게 만든다. 대부분의 TTS 시스템은 ‘제로샷(zero-shot)’ 방식으로 작동하는데, 이는 학습 데이터에 포함되지 않은 목소리까지도 단 몇 초의 샘플만 있으면 자연스럽게 재현해 낼 수 있는 기술이다. 따라서 머신 언러닝은 단지 모델이 이미 학습한 목소리를 지우는 것만으로는 부족하며, 훈련된 적 없는 특정 목소리까지도 따라 하지 않도록 하는 학습도 함께 필요하다. 이와 동시에 나머지 목소리는 여전히 잘 생성할 수 있어야 한다.

이러한 까다로운 조건을 만족하는 모델을 만들기 위해 김 연구원은 메타의 음성 생성 모델인 보이스박스(VoiceBox)를 변형해 실험을 진행했다. 실험에서는 모델이 삭제 대상인 화자의 목소리로 문장을 읽으라는 요청을 받았을 때 이를 무시하고 무작위로 생성한 목소리로 응답하도록 설정했다. 이때 사용된 무작위 목소리는 기존에 존재하지 않던 음성을 모델이 스스로 만들어 학습함으로써 최대한 현실적으로 들리도록 구현된 것이다.

연구진에 따르면 언러닝 과정을 거친 모델에 잊혀진 목소리를 흉내 내도록 요청했을 때 해당 목소리와의 유사도는 기존 모델 대비 75% 이상 감소했다. 이는 현재 사용되는 음성 유사도 측정 도구로 분석한 수치로, 결과적으로 완전히 다른 사람처럼 들릴 정도의 차이를 만들어낸 셈이다. 해당 연구 결과는 최근 개최된 ‘국제 머신러닝 컨퍼런스(ICML, International Conference on Machine Learning)’에서 발표됐다.

다만 특정 목소리를 ‘잊도록’ 만드는 데 성공한 만큼 어느 정도의 성능 저하도 감수해야 했다. 언러닝을 거친 모델은 허용된 화자의 목소리 모방 시 정확도가 약 2.8% 낮아졌다. 수치상으로는 그리 큰 차이로 보이지 않을 수 있지만, 연구진이 공개한 데모에서는 어떤 화자를 얼마나 효과적으로 ‘잊었는지’뿐 아니라, 나머지 화자들을 얼마나 잘 ‘기억하고’ 있는지도 명확히 보여준다.

고 교수는 “모델이 잊어야 할 화자의 수에 따라 다르지만 언러닝 과정은 통상 수일이 걸릴 수 있다”며 “이 방법을 적용하려면 화자당 최소 5분가량의 음성 샘플이 필요하다”고 설명했다.

머신 언러닝에서는 삭제 대상이 된 데이터를 무작위 정보로 대체해, 역추적이나 복원이 불가능하도록 만드는 방식이 일반적으로 사용된다. 이번 연구에서도 삭제된 화자에 대한 모델의 응답은 매우 높은 수준의 ‘랜덤성(randomness)’을 보였으며, 연구진은 이를 모델이 해당 목소리를 진짜로 ‘잊었다’는 신호로 해석했다.

노스캐롤라이나 대학교 채플힐 캠퍼스에서 머신 언러닝을 연구 중인 바이데히 파틸(Vaidehi Patil) 박사과정 연구원은 “다른 분야에서는 무작위성을 최적화하려는 시도가 있었지만, 이를 음성에 적용한 연구는 이번이 처음”이라고 말했다. 파틸은 국제 머신러닝 컨퍼런스와 연계된 머신 언러닝 워크숍을 주최하고 있으며, 이번 음성 언러닝 연구도 이 자리에서 함께 발표될 예정이다.

그녀는 “머신 언러닝이라는 기술 자체가 ‘효율성’과 ‘망각’ 사이에서 어느 정도의 절충이 불가피하다”고 강조했다. 언러닝에는 시간이 걸릴 수 있고, 그 결과 생성된 모델의 활용도 역시 일부 떨어질 수 있기 때문이다. 파틸은 이어 “세상에 공짜는 없기 때문에 무엇이든 하나쯤은 포기해야 한다”고 설명했다.

머신 언러닝은 아직 초기 단계의 기술이기 때문에 당장 메타가 고 교수와 김 연구원의 방식을 곧바로 보이스박스에 도입하기에는 이르다는 시각도 있다. 그럼에도 불구하고 업계의 관심은 점차 높아질 것으로 보인다. 파틸은 올여름 구글 딥마인드에서 머신 언러닝 관련 연구를 진행 중이며, 메타는 이번 연구에 대한 공식 입장을 밝히지 않았지만 보이스박스가 악용될 가능성이 크다는 이유로 지금까지 일반 공개를 미뤄온 상태다.

음성 언러닝 연구팀은 자사의 기술이 언젠가는 실제 환경에서도 활용될 수 있을 만큼 발전하리라는 기대를 안고 있다. 고 교수는 “실제 적용을 위해서는 지금보다 더 빠르고 확장성 있는 방식이 필요하다”며 “지금은 그 해답을 찾기 위해 노력하고 있는 단계”라고 말했다.

The post 성균관대 연구진, AI가 특정 목소리 ‘잊게’ 만드는 기술 개발…오디오 딥페이크 방지 기대 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.