AI가 되찾아준 루게릭병 음악가의 목소리

루게릭병으로 목소리를 잃은 영국 음악가 패트릭 달링이 AI 음성 복제 기술을 통해 다시 노래를 만들고 무대에 섰다.

패트릭 달링(Patrick Darling)의 노래가 시작되자 객석 곳곳에서 눈물이 터져 나왔다. 한 번도 만나보지 못한 증조할아버지를 위해 쓴 진심 어린 곡이었기 때문이다. 하지만 관객이 감동한 이유는 또 있었다. 2년 전 노래할 능력을 잃었던 달링이 밴드 동료들과 함께 다시 무대에 선 첫 순간이었기 때문이다.

올해 32세인 달링은 29세 때 루게릭병(ALS) 진단을 받았다. 이 병은 신체의 근육을 움직이는 신경을 파괴하는 질환이다. 환자는 결국 움직이고, 말하고, 숨 쉬는 데 필요한 모든 근육의 제어 능력을 상실하게 된다.

달링의 마지막 무대는 2년 전이었다. 당시 그는 이미 서서 연주할 수 없었고, 말하거나 노래하는 것조차 힘겨운 상태였다. 그러나 최근 반전이 일어났다. 과거 그의 음성이 담긴 짧은 녹음본들을 학습시킨 AI 도구를 통해 잃어버린 목소리를 재현해낸 것이다. 또 다른 AI 도구는 이 ‘음성 복제본’을 활용해 새 곡을 작곡할 수 있도록 도왔다. 달링은 다시 음악을 만들 수 있게 됐다.

달링은 최근 런던에서 열린 한 행사 무대에서 자신의 AI 목소리를 통해 “안타깝게도 노래하고 악기를 연주하는 능력을 잃었지만, 요즘도 시간 대부분을 음악을 작곡하고 제작하는 데 쓰고 있다”며 “이 일은 지금의 나에게 그 어느 때보다 중요하다”고 말했다.

목소리를 잃어가는 과정

달링은 14세 무렵부터 곡을 써온 음악가였다. 베이스, 기타, 피아노, 밴조 등 여러 악기를 다뤘지만, 그가 가장 사랑한 것은 ‘노래’였다.

밴드 동료 닉 코킹(Nick Cocking)은 10여 년 전 대학 시절 달링을 처음 만났다. 달링이 합류한 이후 밴드의 음악적 수준은 한 단계 높아졌다.

그러나 몇 년 전부터 동료들은 그의 이상 증세를 눈치채기 시작했다. 그는 비 오는 거리를 걷다가 이유 없이 자주 미끄러지고 넘어지곤 했다.

증상은 점점 악화됐다. 다리에서 시작된 증상은 손으로 번졌고, 결국 기타와 밴조를 내려놓아야 했다. 2024년 4월 공연에서는 멤버들이 달링을 직접 안아 무대 위로 옮겨야 할 정도였다.

코킹은 “다음 날 그가 전화를 걸어와 ‘이제 더는 못 하겠다’고 말했다”며 당시를 떠올렸다. 그렇게 2024년 6월 밴드의 연주는 멈췄다.

AI로 재창조한 희망

달링은 언어치료사를 찾았고, 치료사는 그의 목소리를 미리 저장해두는 방안을 제안했다. 말하는 능력을 잃어가는 사람들은 자신의 음성을 녹음해 두었다가 이를 활용해 음성 신호를 생성할 수 있다. 이 신호는 손 입력이나 눈동자 움직임으로 제어하는 장치를 통해 입력된 텍스트로 활성화된다.

다만 이러한 도구들은 로봇처럼 들린다는 반응을 받기도 한다. 달링에게는 또 다른 문제가 있었다. 이미 병세로 인해 목소리가 변해 있었기 때문이다.

그는 “그 시점에는 내 목소리가 이미 달라져 있었다”며 “우리가 잘못된 목소리를 저장하고 있는 것 같았다”고 말했다.

그러던 중 또 다른 언어치료사 리처드 케이브(Richard Cave)가 새로운 기술을 소개했다. 케이브는 런던대학교 언어치료사이자 연구원으로, AI 기업 일레븐랩스(ElevenLabs)의 컨설턴트이기도 하다.

케이브가 달링에게 소개한 기술은 단 몇 초의 녹음만으로 실제와 거의 똑같은 ‘음성 복제본’을 만드는 기술이었다. 달링은 병에 걸리기 전 술집이나 부엌에서 촬영한 오래된 영상들을 모았다. 음질은 좋지 않았지만, AI는 그 속에서 달링 특유의 음색을 찾아냈다.

달링은 “처음 복제된 목소리를 들었을 때 예전과 너무 비슷해서 놀랐다”고 말했다. 그는 새 목소리로 처음 내뱉은 말이 ‘f’로 시작해 ‘k’로 끝나는 농담 섞인 욕설이었다며 웃음을 보이기도 했다.

달링의 노래 목소리를 재현하는 일은 쉽지 않았다. 일레븐랩스의 AI 도구는 일반적으로 음성 복제본을 만들기 위해 약 10분 분량의 선명한 오디오를 필요로 한다.

“내 노래를 고음질로 녹음한 자료가 전혀 없었다. 사람들 휴대폰에 저장된 시끄러운 술집에서 촬영된 영상의 오디오와 제가 부엌에서 노래한 몇 개의 녹음본을 써야 했다.” 달링은 말했다.

그럼에도 불구하고 이런 짧은 음원들만으로도 달링의 노래 목소리를 합성하는 데는 충분했다.

케이브에 따르면 원본 녹음 속 달링의 목소리는 약간 쉰 듯했고 일부 음정은 조금 빗나가 있었다. 복제된 목소리 역시 같은 특징을 지니고 있다. 그런데 이것이 완벽하게 들리지는 않지만, 오히려 인간다운 느낌을 줬다.

달링은 행사에서 “우리가 만든 일레븐랩스 음성은 정말 훌륭하다”며 “분명히 내 목소리 같다”고 말했다.

일레븐랩스는 ‘일레븐 뮤직(Eleven Music)’이라는 AI 음악 생성 도구도 개발했다. 이 도구는 사용자가 텍스트 프롬프트(지시어)로 음악 스타일을 지정해 곡을 작곡할 수 있게 해준다.

배우 마이클 케인(Michael Caine)을 비롯한 여러 유명 아티스트들도 목소리 AI 클론 사용을 위해 이 회사와 협력했다. 케인의 음성 클론은 곧 공개될 일레븐랩스 다큐멘터리의 내레이션에 활용될 예정이다.

1월 일레븐랩스는는 일레븐 뮤직으로 제작한 11곡으로 구성된 앨범을 공개했다.

일레븐 뮤직은 1분 만에 곡을 생성할 수 있지만 달링과 케이브는 약 6주를 추가로 들여 노래를 완성도 있게 다듬었다.

케이브는 “텍스트 프롬프트만 있으면 누구나 원하는 스타일로 음악을 만들고 가사를 추가할 수 있다”고 설명했다. 달링은 아일랜드 민속 음악을 좋아하지만, 케이브는 콜롬비아 민속 음악을 만드는 현지 음악가와 협업한 경험도 있다.

현재 일레븐랩스의 도구는 74개 언어로 이용 가능하다.

2년 만의 재회

지난 2월 11일 달링과 밴드 멤버들은 마침내 런던 무대에 나란히 섰다. 코킹은 공연 전 달링의 목소리가 담긴 완성곡을 처음 들었을 때 너무 많이 울어, 끝까지 듣는 데만 여러 차례 시도해야 했다고 전했다.

공연 당일 휠체어를 탄 달링이 무대 중앙을 지켰고, 동료들은 그의 곁에서 라이브 연주를 펼쳤다. 달링이 직접 입을 떼지는 못했지만, AI가 재현한 그의 노래가 공연장을 가득 채웠다.

코킹은 “달콤하면서도 쌉싸름한 순간이었다”며 “무대 위에서 행복해하는 달링의 모습을 보니 정말 기뻤다”고 말했다.

코킹과 케이브는 달링이 앞으로도 이 기술을 활용해 음악 활동을 이어갈 계획이라고 밝혔다. 다만 코킹은 “다시 함께 계속 공연하고 싶지만 루게릭병의 특성상 장기 계획을 세우기는 어렵다”고 덧붙였다.

The post AI가 되찾아준 루게릭병 음악가의 목소리 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.