생성형 AI, 한국 웹툰 업계의 판을 바꾼다

한국 만화계의 거장인 이현세 작가처럼 AI를 ‘불멸의 길’로 여기는 작가도 있지만, AI가 작가들의 창의성을 위협하는 것은 아닌지 걱정하는 이들도 있다.

1983년에 출간된 야구만화 <공포의 외인구단>으로 유명한 한국의 전설적인 만화가 이현세 작가는 지난해 인공지능(AI) 프로젝트를 시작하면서 “아직 머리도 맑고 손도 멀쩡하기 때문에 AI로 그림이나 이야기 작업에 도움을 얻는 것에는 관심이 크지 않다. 하지만 내 캐릭터인 까치, 엄지, 마동탁의 영생을 위해 AI와 손을 잡았다”고 말한 바 있다.

이 작가는 생성형 AI를 활용하는 프로젝트에 참여하기 시작하면서 한국 웹툰 산업에 새로운 창작의 지평을 열고 있다. 21세기에 진입하며 만화 잡지가 사라진 이후로 한국에서 주로 ‘웹툰’이라고 불리는 웹만화(디지털 플랫폼을 통해 위에서 아래로 읽는 연재 만화)는 소수의 사람만이 즐기던 하위문화에서 전 세계 수억 명의 독자를 끌어들이는 글로벌 엔터테인먼트 강자로 성장했다. 이 작가는 오랫동안 이 분야의 선두에 서서 창작 작업의 경계를 넓혀 왔다.

이 작가는 한국 최초의 프로야구팀 중 하나인 삼미 슈퍼스타즈에서 <공포의 외인구단>을 창작할 영감을 얻었다. 삼미 슈퍼스타즈의 인내의 여정은 당시 군사독재에 억눌린 대한민국 국민들의 마음을 사로잡았다. 정치적 억압에서 벗어날 탈출구를 찾고자 했던 독자들은 <공포의 외인구단>의 열성적인 팬이 되었고, 기존 만화의 관습에서 벗어난 이 작가의 대담한 붓터치와 영화 같은 화면 구성에 매료됐다.

<공포의 외인구단>에 등장하는 반항적인 주인공 까치는 이 작가 자신의 분신이다. 자유분방하게 삐죽삐죽한 머리 스타일의 까치는 지칠 줄 모르는 열정과 용기 있는 양심으로 세상에 도전하는 인물로 팬들이 가장 좋아하는 캐릭터이다. 까치는 <아마게돈>에서는 외계인의 공격에서 지구를 구하는 초자연적인 전사로, <카론의 새벽>에서는 강력한 범죄 조직과 싸우는 불량 경찰로 등장하는 등 이현세 작가의 대표 작품에서 매번 새로운 모습으로 재등장했다. 그렇게 수십 년 동안 까치는 한국의 문화 아이콘이 됐다.

그럼에도 불구하고 이 작가는 까치의 미래를 걱정한다. 슈퍼맨이나 스파이더맨처럼 미국에는 오랫동안 사랑받고 있는 만화 캐릭터들이 있지만, 이 작가는 “한국에서는 작가가 죽으면 캐릭터도 같이 죽는다”고 말한 바 있다. 이 작가는 자신의 캐릭터들이 독자들의 기억뿐만 아니라 웹툰 플랫폼에서도 계속 살아있기를 바란다. 이에 대해 그는 “내가 죽은 후에도 내가 창조한 세계관과 캐릭터가 새로운 시대의 사람들과 소통하고 공명하며 살아가기를 바란다”며 “그것이 내가 원하는 불멸”이라고 밝혔다.

이 작가는 AI가 이러한 비전을 실현하는 데 도움을 줄 수 있을 것이라는 생각으로 한국의 웹툰 제작사 재담미디어와 협력해 이현세 AI 모델을 개발했다. 이 AI 모델은 영국의 스타트업 스태빌리티AI에서 개발한 오픈소스 AI 이미지 생성 모델 스테이블 디퓨전(Stable Diffusion)을 미세조정하여 만들었다. 이현세 작가가 46년간 발표한 5,000여 권의 만화 데이터 세트를 학습한 이 모델은 이 작가 특유의 화풍으로 만화를 생성한다.

올해 이현세 작가는 1994년 발표한 만화 <카론의 새벽>을 리메이크한 첫 번째 AI 기반 웹툰을 발표하기 위해 준비하고 있다. 재담미디어의 작가들은 현대 서울을 배경으로 까치가 경찰, 그가 사랑하는 엄지가 대담한 검사로 등장하는 현대판 범죄 드라마로 이 작품을 각색하고 있다. 이 작가가 만화를 가르치고 있는 세종대학교 학생들도 이 작가의 AI 모델을 사용해서 웹툰을 제작하고 있다.

창작 과정은 여러 단계로 진행된다. 우선 3D 해부학 모델, 손으로 그린 스케치 등 다양한 움직임과 제스처에 관해 알려주는 참고 이미지와 텍스트 프롬프트를 기반으로 이현세 작가의 AI 모델이 일러스트를 생성한다. 그런 다음 이 작가의 제자인 세종대 학생들이 일러스트를 선별하고 편집하여 캐릭터의 포즈를 조정하고 표정을 맞추면서 AI가 처리할 수 없는 만화 같은 구성으로 통합한다. 이후 여러 차례 수정과 이미지 재생성 과정을 거친 후에 이 작가가 개입해서 자신의 독특한 예술적 감각을 더해 최종 결과물을 조율한다.

AI 기업들은 작가가 힘든 작화 작업을 자동화하여 창의적인 에너지를 스토리텔링과 작품 연출에 쏟아부을 수 있기를 바란다.

이현세 작가는 “내 연출에 따라 캐릭터는 화가 났는데 슬픈 눈빛으로 노려볼 수도 있고 행복한데 사나운 눈빛을 보일 수도 있다”며 “이렇게 복잡하고 미묘한 표정은 AI가 제대로 포착하기 어렵기 때문에 섬세한 디테일은 내가 직접 연출해야 한다”고 설명했다.

이 작가는 궁극적으로 인간의 표정과 감정 표현에 대한 자신의 섬세한 접근 방식을 구현하는 AI 시스템을 구축하고자 한다. 이 작가가 시도하고 있는 실험적인 AI 프로젝트의 원대한 비전은 그의 창의력을 모방하는 첨단 AI 모델, 즉 ‘이현세 시뮬레이션 에이전트’를 만드는 것이다. 이 모델은 지난해 국립중앙도서관에서 열린 전시회의 주제였던 이현세 작가의 에세이, 인터뷰, 만화 속 텍스트 등 디지털 아카이브를 통해 그의 철학, 성격, 가치관 등을 학습할 것이다. 이 작가는 이에 대해 “내가 워낙 많은 작품을 발표했기 때문에 내가 창조한 무수한 세계관을 AI가 학습하는 데는 오랜 시간이 걸릴 것”이라고 말했다.

이 작가의 ‘디지털 클론’은 이현세 작가의 예술적 직관을 바탕으로 주변 환경을 인식하고 이 작가가 내릴 듯한 창의적인 선택을 하면서 새로운 만화를 만들어낼 것이며, 어쩌면 먼 미래에는 까치가 인간을 뛰어넘는 ‘포스트휴먼’ 주인공으로 등장하는 작품을 출간할 수도 있을 것이다. 이 작가는 “앞으로 50년 후에 이현세가 세상을 본다면 어떤 만화를 그리게 될까?”라고 물으며 “나는 이 질문이 매우 흥미롭다”고 말했다.

지속적인 예술적 유산을 만들기 위한 이현세 작가의 노력은 기술이 주도하는 광범위한 창의성 진화의 일부라고 할 수 있다. 웹툰은 등장 이후 수십 년 동안 음악, 애니메이션, 인터렉티브 비주얼을 자동 채색 프로그램과 같은 새로운 도구의 효과와 통합하는 무한한 디지털 캔버스를 제공하면서 스토리텔링 예술을 변화시켜 왔다. 그리고 이제는 AI 기술이 가세하면서 다음 혁신의 물결에 빠르게 다가가고 있다. 그러나 AI 기술은 새로운 창작의 가능성을 열어주는 동시에 예술적 주체성과 저작자의 역할에 대한 불안감을 불러일으키고 있다.

창의적 스토리텔링을 재정의하겠다는 포부를 담아 ‘이름, 명성’을 의미하는 그리스어에서 이름을 딴 한국의 웹툰 스타트업 오노마AI는 지난해 ‘투툰(TooToon)’이라는 AI 기반의 웹툰 생성 도구를 출시했다. 투툰을 사용하면 사용자는 간단한 텍스트 입력만으로 시놉시스, 캐릭터, 스토리보드를 만들 수 있으며 대략적인 스케치를 개인의 예술적 스타일을 반영하는 세련된 일러스트로 변환할 수 있다. 투툰은 콘셉트 구상에서 선화 제작까지 걸리는 시간을 6개월에서 단 2주로 단축하여 엄청난 노동이 필요한 창작 과정을 간소화한다고 주장한다.

오노마AI와 같은 기업들은 그림을 직접 그리지 못하거나 웹툰 업계에서 요구하는 지나치게 과도한 작업량을 맞추기 위해 수많은 어시스턴트를 고용할 여유가 없는 사람이라고 해도 누구든 AI의 도움으로 작가가 될 수 있다는 생각을 지지한다. 이들은 작가가 AI 기반 개인 웹툰 스튜디오의 감독으로서 힘든 작화 작업을 자동화하여 창의적인 에너지를 스토리텔링과 작품 연출에 쏟아부을 수 있기를 바란다. 이러한 기업들은 작가들이 더 실험적인 아이디어를 떠올리고 대규모 제작에 도전하여 웹툰 시장을 지배하고 있는 대형 웹툰 스튜디오들의 독과점 체제를 무너뜨리는 데 생산성 혁신이 도움이 될 것이라고 주장한다.

a character with white hair and an outstretched hand charges at the viewer while ringed by blue energy streaks — 오혜성은 올해 말 공개 예정인 이현세 작가의 AI 기반 웹툰 시리즈 <카론의 새벽>의 주인공이다.
출판사 제공

오노마AI의 송민 대표는 “AI가 웹툰 생태계를 확장할 것”이라고 말했다. 송 대표는 한국의 웹툰 산업이 네이버 웹툰과 카카오웹툰 같은 대형 플랫폼이 정점에 있고 그 아래로 작가들과 협업해 웹툰을 대량 생산하는 대형 스튜디오가 존재하는 ‘피라미드 구조’라고 지적한다. 송 대표는 “웹툰 스튜디오 시스템 외부에 있는 나머지 작가들은 혼자서 작품을 창작할 수 없다”며 “AI는 더 많은 작가가 독립적인 작가로 성장할 수 있도록 도움을 줄 것”이라고 설명했다.

지난해 오노마AI는 젊은 웹툰 작가들과 협업하여 <타로: 일곱 장의 이야기>를 제작했다. 이 작품은 타로카드의 저주로 뒤틀린 운명을 풀어내는 미스터리 스릴러 작품이다. 송민 대표는 이러한 협업을 통해 작가들의 피드백을 받아 투툰을 개선하고 있다. 그러나 송 대표는 AI로 생성한 예술을 옹호하면서도 여전히 AI가 완벽해지는 것이 좋은 일인지에 대해서는 의문을 품고 있다. 그는 엔지니어도 기술을 연마하기 위해 계속 코딩을 해야 하는 것처럼 작가들도 실력을 키우기 위해 계속 그림을 그릴 수 있도록 AI가 여지를 남겨두어야 하는 것은 아닌지 고민하고 있다.

송 대표는 “AI는 피할 수 없는 변화이지만, 현재는 작가들의 인식과 저작권 문제가 가장 큰 장애물”이라고 말했다.

오노마AI는 일본 애니메이션 스타일의 일러스트를 모아 놓은 공개 이미지뱅크인 단부루2023(Danbooru2023)으로 스테이블 디퓨전을 미세조정해 투툰을 구동하는 대형언어모델 일러스트리우스(Illustrious)를 구축했다. 그러나 스테이블 디퓨전과 이를 기반으로 구축한 다른 인기있는 이미지 생성기들은 인터넷에서 무차별적으로 긁어모은 이미지를 학습 데이터로 활용하면서 비판을 받아왔고, 이로 인해 저작권 침해에 대한 수많은 소송이 촉발됐다. 그 결과 자신의 동의 없이 작품을 AI 학습에 사용하고 있다고 우려하는 작가들은 웹툰 생성 프로그램에 거세게 반발하고 있다.

“영혼 없이도 창작이 가능할까? 그 답은 누구도 알 수 없을 것이다.”

기업들이 AI 학습 데이터를 비공개로 독점하는 가운데 작가와 독자들은 AI로 생성한 웹툰을 불매하는 디지털 캠페인을 시작했다. 2023년 5월 독자들은 네이버 웹툰에 연재되는 <신과함께 돌아온 기사왕님>이 작화의 일부를 다듬는 데 AI를 사용했다는 사실을 알게 되면서 해당 작품에 대해 매우 낮은 평점을 주기 시작했다. 다음 달에는 작가들이 ‘도둑질로 만든 AI 웹툰에 반대한다’는 익명의 게시글을 쏟아내며 네이버에서 연재하는 작가는 자신의 작품이 AI 학습 데이터로 사용되는 데 동의해야 한다는 네이버의 계약 정책을 신랄하게 비판했다.

이러한 상황을 해결하기 위해 2023년 12월 한국저작권위원회는 AI 개발사가 저작물을 학습 데이터로 사용하려면 사용 전에 저작권자의 허락을 받아야 하고, 사용 목적과 범위, 기간을 명시해야 하며, 정당한 보상을 제안해야 한다는 안내서를 발표했다. 그로부터 1년 후, 더 많은 데이터에 대한 접근을 요구하는 AI 기업들의 목소리가 높아지자 한국 정부는 공정 이용 원칙에 따라 저작물을 AI 학습 데이터로 사용하도록 허용하는 저작권법 면책 조항을 마련할 것을 제안했다. 그러나 아직 명확한 법률이나 규정이 마련되지 않아 작가들은 여전히 불확실한 상황에 놓여 있다.

이현세 작가와 같은 노련한 작가들은 자신의 유산을 확장하기 위한 도구로 AI 기술을 받아들이고 자신의 지식재산을 AI가 학습 데이터로 활용할 수 있도록 허가하지만, 젊은 작가들은 AI를 위협으로 여긴다. 이들은 AI가 작품뿐만 아니라 작가로서의 정체성 자체를 빼앗아 갈까 봐 우려한다.

서울에 거주하는 젊은 웹툰 작가인 박소원 작가는 “그림을 그리는 것은 만화를 그릴 때 가장 어려운 부분이기도 하지만 가장 재미있는 부분이기도 하다”고 말했다. 어린 시절 박 작가는 애니메이션 제작자인 어머니가 캐릭터에 생명을 불어넣는 모습을 보며 만화가의 꿈을 키웠다. 박 작가는 중간에 잠깐 활동을 중단하기도 했지만 수년간 한 웹툰 스튜디오에서 어시스턴트로 일하다가 레진코믹스에서 <걷지 않는 다리>라는 작품으로 성공을 거뒀다. 이 작품은 알코올 중독자인 아버지가 남긴 빚을 갚으라며 자신을 쫓는 사채업자와 사랑에 빠지는 권투선수의 이야기를 그린 퀴어 로맨스 누아르이다.

박 작가는 독립 작가로서 끊임없이 작품 활동을 이어가고 있다. 박 작가는 10일마다 새로운 에피소드를 연재하는데, 배경과 채색을 담당하는 어시스턴트들의 도움이 있다고 해도 최대 80컷에 달하는 이미지를 그리느라 밤을 새우는 경우도 흔하다. 때로는 작업에 완전히 몰입해서 쉬지 않고 30시간 연속으로 작업할 때도 있다.

그럼에도 불구하고 박 작가는 자신의 작품의 핵심이라고 할 수 있는 그림 작업을 AI에 맡기는 것은 상상할 수 없다. 박 작가는 “스토리가 아무리 중요하다고 해도 만화의 핵심은 그림”이라며 “스토리가 글로 적혀 있었다면 사람들이 읽지 않았을 것”이라고 말했다. 박 작가는 “스토리는 그냥 생각일 뿐이고 이 스토리를 실제로 구현하는 건 그림”이라며 “그림이야말로 만화의 문법”이라고 강조했다. 박 작가에게 그림 작업을 AI에 넘긴다는 것은 예술가로서의 주체성을 내어주는 것을 의미한다.

balck and white comic style page with a character in a trenchcoat speaking — 1983년 이현세 작가가 그린 야구만화 <공포의 외인구단>의 한 장면.
출판사 제공

박소원 작가는 마치 ‘공허 속에 존재하는 물체’처럼 알고리즘이 만든 예술에는 영혼이 없다고 생각한다. 그리고 AI가 자신보다 그림을 더 잘 그릴 수 있는지에 대해서는 전혀 걱정하지 않는다. 박 작가의 그림 실력은 시간의 흐름에 따라 작가 자신이 세상을 바라보는 관점이 변하고 새로운 창작의 지평을 열면서 수년에 걸쳐 진화해 왔다. 박 작가는 기존 작품을 모방하도록 학습한 알고리즘은 결코 이러한 예술적 진보를 이룰 수 없다고 생각한다. 박 작가는 “나는 작가로서 계속 새로운 영역을 개척해 나가겠지만, AI는 그 자리에 그대로 머물러 있을 것”이라고 지적했다.

박 작가에게 예술은 삶의 가장 큰 즐거움이다. 박 작가는 “나는 그림 그리는 것을 좋아하기 때문에 여기까지 올 수 있었다”며 “세상에서 가장 좋아하는 일을 AI가 빼앗아 간다면 나는 뭘 해야 할까?”라고 말했다.

그러나 스토리텔링에 강점이 있는 만화 작가들은 AI 혁신을 반기고 있다. 배진수 작가는 영화 시나리오 작가를 꿈꾸다가 2010년 아마추어 작가들이 작품을 발표할 수 있는 네이버 웹툰의 도전 만화를 통해 작가로 연재를 시작했다. 배 작가는 자신의 시나리오를 만화로 표현하기 위해 다양한 구도를 사진으로 찍어서 종이에 따라 그리며 독학으로 그림을 공부했다. 배 작가는 “나는 그림을 잘 그리지 못하니 스토리에 집중하자고 생각했다”고 밝혔다.

배 작가는 데뷔작인 <금요일>로 성공을 거둔 후 <머니게임>, <파이게임>, <퍼니게임>이라는 3부작 시리즈로 유명해졌다. 이 시리즈는 상금을 타기 위해 기이한 게임을 하는 참가자들의 이야기를 반전과 재치로 풀어내며 생각할 거리를 제시하는 두뇌 심리 스릴러 작품이다. 이 작품들은 <더 에이트 쇼>라는 제목으로 넷플릭스 프로그램으로 각색되기도 했다.

배 작가는 “아직 하고 싶은 이야기가 더 많다”고 말했다. 다작 작가인 그는 공포, 정치, 블랙 코미디 등 장르를 넘나드는 새로운 아이디어를 수첩에 가득 채우고 있다. 그러나 배 작가의 경우에는 직접 손으로 그림을 그리는 작업보다 스토리 구상이 훨씬 빠르기 때문에 모든 아이디어에 생명을 불어넣기 위해서는 웹툰 스튜디오에 작화를 맡겨야 한다. 그런 배 작가에게는 AI 기반 웹툰 생성기가 획기적인 전환점이 될 수 있다. 그는 “AI가 그림을 처리해 줄 수 있다면 끊임없이 새로운 만화를 만들 수 있을 것 같다”고 밝혔다.

배진수 작가는 글을 쓰는 작가의 조수처럼 ‘스토리 아이디어를 위한 보조’로서도 AI를 활용하고 싶어 한다. 배 작가는 AI를 활용하더라도 작가로서 입지를 굳히기 위해 자신의 상상력을 더 깊이 파고들어 다른 어느 곳에서도 찾아볼 수 없는 독창적이고 실험적인 아이디어를 만들어낼 계획이다. 배 작가는 이에 대해 “이런 작업은 인간 창작자의 영역”이라고 말했다. 그러나 그는 다양한 부분에서 AI의 도움을 받다 보면 자신의 창의적인 감각이 서서히 마모되면서 작가로서 고유의 색깔이 점점 옅어질까 봐 우려하기도 한다.

한편, 세종대학교 만화애니메이션학과 학생들은 AI를 자신들의 창작 도구로 활용하는 방법을 배우고 있다. 이들은 만화 콘텐츠에 꼼꼼하게 주석을 달아서 데이터 세트로 전환하는 ‘크리에이티브 코더(creative coder)’로서, 그리고 자신들이 설정한 미적 감성에 맞추어 AI가 캐릭터를 제작하도록 안내할 수 있는 ‘프롬프트 엔지니어(prompt engineer)’로서 교육받고 있다.

AI를 활용하는 웹툰 제작 수업을 가르치는 세종대학교 만화애니메이션학과 한창완 교수는 “창의성은 작품에 대한 성찰과 고민의 시간을 필요로 한다”며 “웹툰 스튜디오에서 대량 생산하는 정형화된 만화에 도전할 수 있도록 더 다양한 캐릭터, 더 다채로운 플롯, 더 복합적인 장르를 창작할 수 있는 시간을 줄여주는 것이야말로 AI가 학생들에게 제공할 수 있는 혜택”이라고 설명했다. 궁극적으로 한 교수는 “AI를 활용한 웹툰을 통해 완전히 새로운 독자층을 확보할 수 있을 것으로 기대한다”고 밝혔다.

작가들이 미지의 미래에 관해 고민하고 있는 동안 생성형 AI는 창의력의 원천이 무엇인지에 대한 심오한 질문을 제기하고 있다. 여성만 왕위에 오르는 가상의 왕국에서 추방된 용감한 공주가 전쟁, 사랑, 정치적 권력 다툼을 통해 생존과 자아 발견을 위한 여행에 나서는 이야기를 다룬 역사 판타지 로맨스 작품 <아르미안의 네 딸들>의 작가로 잘 알려져 있는 신일숙 한국만화가협회장은 “AI는 작가에게 기술적 조력자가 될 수 있다”고 말했다. 그러나 신 회장은 AI가 진정으로 ‘창의적인’ 동반자가 될 수 있는지에 대해서는 의문을 품고 있다.

신 회장은 “창의성이란 다른 사람과 공유하고 싶은 열망을 바탕으로 이전에 누구도 본 적 없는 무언가를 만들어내는 것”이라고 말했다. 이어서 신 회장은 “따라서 창의성이란 인간의 경험 및 고통과 깊이 연결되어 있다”며 “그래서 인생의 고통을 겪으며 기술을 연마한 예술가가 위대한 작품을 만들어내는 것”이라고 설명했다. 신 회장은 마지막으로 이렇게 덧붙였다. “영혼 없이도 창작이 가능할까? 그 답은 누구도 알 수 없을 것이다.”

이 글을 쓴 미셸 김(Michelle Kim)은 서울에서 프리랜서 저널리스트이자 변호사로 활동하고 있다.

The post 생성형 AI, 한국 웹툰 업계의 판을 바꾼다 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.