[인터뷰] LLM 열풍에 맞서 새로운 도전 나선 ‘딥러닝 대부’ 얀 르쿤

AI 선구자 얀 르쿤이 MIT 테크놀로지 리뷰와의 단독 인터뷰에서 파리에 설립한 새 회사 AMI 랩스의 구상과 AI의 미래에 대한 비전을 밝혔다.

‘딥러닝의 대부’로 불리는 얀 르쿤(Yann LeCun)은 2018년 컴퓨터 과학계의 노벨상으로 불리는 튜링상(Turing Award)의 공동수상자이자 세계적인 인공지능(AI) 연구자이다. 동시에 그는 오랫동안 기술 업계에서 대형언어모델(LLM) 중심의 흐름에 비판적 목소리를 낸 대표적 인물로 알려져 왔다. 그는 “현재 LLM에 집착하는 업계의 흐름은 잘못된 방향”이라며 “이런 접근 방식으로는 결국 우리가 마주한 시급한 문제들을 해결하지 못할 것”이라고 주장했다.

르쿤은 대신 현실 세계의 물리적 법칙과 인과관계를 정확히 이해하고 예측하는 ‘월드 모델(world model)’이라는 전혀 다른 유형의 AI 개발에 투자해야 한다고 본다. 그는 또한 모델의 구조와 코드를 공개해 누구나 검증·개선할 수 있도록 하는 ‘오픈소스 AI’의 강력한 지지자로서, 오픈AI와 앤트로픽 같은 최첨단 연구소들이 취하고 있는 폐쇄적인 접근 방식을 비판해왔다.

이 같은 행보를 고려하면 그가 최근(2025년 말) 메타를 떠난 일도 그리 놀라운 일은 아니다. 그는 자신이 설립한 메타의 핵심 연구 조직 ‘페어(FAIR, Fundamental AI Research)’에서 수석 과학자로 활동했다. 그러나 메타는 오픈소스 AI 모델 라마(Llama)로 뚜렷한 성과를 내는 데 어려움을 겪어 왔고, AI 데이터 처리·인프라 스타트업 스케일AI(ScaleAI)에 대한 대규모 투자와 협력을 둘러싸고 ‘이해충돌’과 ‘전략 혼선’ 논란에 휩싸이는 등 내부적으로 적지 않은 변화를 겪고 있는 상황이다.

르쿤은 파리 자택에서 진행된 MIT 테크놀로지 리뷰와의 온라인 단독 인터뷰를 통해 새로운 사업과 메타를 떠난 이후의 삶, 그리고 AI의 미래와 업계가 잘못된 방향을 쫓고 있다고 보는 이유에 대해 이야기했다.

아래 문답은 명확성과 간결성을 위해 일부 편집한 내용이다.

최근 새 회사 ‘어드밴스드 머신 인텔리전스(Advanced Machine Intelligence)’ 설립을 발표했다. 회사가 추구하는 큰 방향은 무엇인가.

어드밴스드 머신 인텔리전스는 전 세계를 무대로 활동하겠지만 본사는 파리에 둘 계획이다. 회사의 약칭 ‘AMI’는 프랑스어로 ‘친구’라는 뜻이다. 매우 큰 기대를 걸고 있다.

유럽에는 뛰어난 인재가 많이 모여 있지만, 이들이 역량을 충분히 펼칠 수 있는 환경이 언제나 잘 갖춰진 것은 아니다. 동시에 중국도, 미국도 아닌 신뢰할 수 있는 선도 AI 기업에 대한 산업계와 각국 정부의 수요도 상당히 크다. 이런 점이 우리에게 유리하게 작용할 것이라고 본다.

현재의 미·중 양강 구도를 넘어서는 야심 찬 대안이라는 의미로 들린다. 이런 ‘제3의 길’을 택한 이유는 무엇인가.

많은 나라가 AI 주권 문제를 고민하고 있다. 각국은 AI에 대해 어느 정도의 통제권을 원한다. 나는 AI가 결국 하나의 플랫폼이 될 것이라고 믿는다. 대부분의 플랫폼은 시간이 지나면 오픈소스로 발전하는 경향이 있다. 그러나 안타깝게도 미국 업계는 지금 그런 방향으로 움직이고 있지 않다. 경쟁이 치열해질수록 더 폐쇄적으로 변하고 있는데, 전략적으로 큰 실수라고 생각한다.

오픈AI 사례에서도 이러한 사실은 분명히 드러난다. 오픈AI는 매우 개방적인 조직으로 출발했지만 지금은 상당히 폐쇄적인 구조로 바뀌었다. 앤트로픽은 처음부터 폐쇄적인 방식을 택해 왔다. 구글은 어느 정도 개방적인 면이 있었지만 완전히 그렇다고 보기는 어렵다. 메타의 경우는 앞으로 지켜봐야 하겠지만 현재로서는 긍정적인 방향으로 가고 있다는 인상을 주지 못하고 있다.

반면 중국은 이런 개방적 접근을 전면적으로 받아들였다. 그 결과 주요 오픈소스 AI 플랫폼 상당수가 중국에서 나오고 있다. 미국 밖의 학계와 스타트업은 사실상 중국 모델을 폭넓게 활용하고 있다. 물론 이것이 잘못됐다는 뜻은 아니다. 중국 모델은 성능이 뛰어나고, 중국의 엔지니어와 과학자들도 매우 훌륭하다.

그러나 앞으로 우리의 정보 소비가 AI 시스템을 통해 이뤄지는 미래를 떠올려 보자. 선택지가 미국과 긴밀히 연결된 폐쇄적 기업이 만든 영어권 모델이나, 1989년 톈안먼 사태 같은 민감한 사안에 대해서도 답변할 수 있도록 별도의 조정이 필요한 중국산 오픈소스 모델뿐이라면 그 미래가 그다지 바람직하거나 매력적이라고 보기는 어렵다.

미래의 AI 모델은 누구나 원하는 방식으로 미세 조정할 수 있어야 한다. 다양한 언어 능력과 가치 체계, 정치적 성향, 관심 분야를 반영하는 폭넓은 형태의 서비스가 제공돼야 한다. 언론에 다양한 목소리가 필요하듯 AI 서비스에도 높은 수준의 다양성이 필요하다.

분명 매력적인 구상으로 들리는데, 투자자들의 반응은 어떤가.

투자자들은 매우 긍정적이다. 다수의 소규모 스타트업이 오픈소스 모델에 크게 의존하고 있는 만큼 많은 벤처캐피털이 이 같은 접근을 강하게 지지하고 있다. 이런 스타트업은 자체 모델을 학습시킬 자원이 부족한 경우가 대부분이며, 특정 기업의 독점 모델에 의존하는 것은 전략적으로도 위험할 수 있다.

최근 떠난 메타와 마크 저커버그 최고경영자(CEO)의 리더십을 어떻게 평가하나. 메타가 AI 분야에서 우위를 제대로 살리지 못했다는 인식도 있다.

연구 측면에서 보면 페어는 매우 성공적이었다고 생각한다. 다만 그 연구 성과를 실제 기술과 제품으로 연결하는 부분에서는 메타가 상대적으로 큰 성과를 내지 못했다. 저커버그는 회사에 가장 이롭다고 판단한 결정을 내렸다. 물론 모든 선택에 내가 동의한 것은 아니다. 예를 들어 페어의 로보틱스 그룹이 해체된 일은 전략적으로 실수였다고 본다. 하지만 나는 페어의 책임자가 아니었다. 각자의 판단에 따라 합리적인 결정을 내린 것이기 때문에 그 일에 감정을 가질 이유는 없다.

그렇다면 앙금은 없다는 뜻인가. 메타가 앞으로 AMI의 고객이 될 가능성도 있나.

메타가 우리의 첫 번째 고객이 될 수도 있다. 우리가 하는 일은 메타와 직접적으로 경쟁하는 영역이 아니다. 우리는 물리적 세계를 위한 월드 모델에 집중하고 있고, 메타는 생성형 AI와 LLM에 초점을 맞추고 있다.

LLM이 주류가 되기 훨씬 전부터 AI를 연구를 해 왔다. 그런데 챗GPT가 등장한 이후 LLM은 사실상 AI의 또 다른 이름처럼 여겨지고 있다.

그렇다. 하지만 그 인식은 곧 바뀌게 될 것이다. 대중이 AI를 떠올릴 때 가장 먼저 생각하는 것은 LLM이나 챗봇이다. 그러나 최신 시스템은 LLM 하나만으로 구성되지 않는다. 인지 시스템과 특정 문제를 해결하는 코드 등 다양한 요소가 결합돼 있다. 앞으로 LLM은 여러 구성 요소를 조율하는 일종의 오케스트레이터 역할을 맡게 될 것이다.

LLM 외에도 사회 곳곳에서 보이지 않게 작동하는 AI가 매우 많다. 자동차의 운전자 보조 시스템, 신속한 MRI 영상 처리, 소셜미디어를 구동하는 알고리즘 모두 AI에 해당한다.

그동안 LLM이 발전할 수 있는 범위에는 한계가 있다고 꾸준히 주장해 왔다. 요즘 LLM이 과대평가되고 있다고 보나. LLM만으로는 충분하지 않다고 생각하는 이유를 설명해 달라.

LLM이 과대평가되지 않았다고 볼 수 있는 측면도 있다. 많은 사람에게 매우 유용하기 때문이다. 특히 글을 쓰거나, 연구를 하거나, 코드를 작성하는 데 큰 도움을 준다. LLM은 언어를 다루는 능력이 뛰어나다. 그러나 문제는 이를 계속 확장하면 결국 인간 수준의 지능에 도달할 것이라는 착각 또는 환상이 퍼져 있다는 것인데, 이는 사실이 아니다.

정말 어려운 문제는 현실 세계를 이해하는 일이다. 1988년 컴퓨터 과학자 한스 모라벡(Hans Moravec)이 지적한 ‘모라벡의 역설(Moravec Paradox)’과 맞닿아 있는 개념이다. 환경을 인식하며 움직이는 능력(navigation)이나 지각(perception)은 인간에게는 본능적으로 쉽지만, 컴퓨터에게는 오히려 가장 어려운 과제다. 반대로 인간에게 어렵지만 컴퓨터는 손쉽게 처리하는 일들도 있다. LLM은 텍스트로 이뤄진 기호의 세계에 머물러 있다. 세계에 대한 모델이 없기 때문에 진정한 의미의 추론이나 계획을 세우기 어렵다. 자신의 행동이 어떤 결과를 낳을지도 예측하지 못한다. 집안에서 고양이만큼 민첩하게 움직이는 로봇이나 완전한 자율주행차가 아직 등장하지 못한 이유가 여기에 있다.

인간과 비슷하거나 인간 수준의 지능을 지닌 AI 시스템은 결국 등장할 것이다. 그러나 그것이 LLM을 기반으로 만들어지지는 않을 것이며, 수년 내에 곧바로 실현되지도 않을 것이다. 시간이 필요하다. 인간 수준의 지능에 도달하려면 중대한 개념적 돌파구가 필요하다. 이는 내가 오랫동안 연구해 온 주제이며, AMI는 이런 차세대 접근법에 초점을 맞추고 있다.

당신이 제시하는 해법은 ‘월드 모델’과 메타 재직 시절 개발한 공동 임베딩 예측 아키텍처 ‘JEPA’이다. 한마디로 설명한다면 무엇인가.

세상은 본질적으로 예측 불가능하다. 미래의 모든 세부 사항을 맞히려는 생성 모델을 만들려 한다면 결국 한계에 부딪힐 수밖에 없다. ‘JEPA(Joint embedding predictive architecture)’는 생성형 AI가 아니다. 이 시스템은 영상을 효과적으로 표현하는 방식을 학습한다. JEPA의 핵심은 세계에 대한 추상적인 표현을 먼저 학습하고, 그 추상적 공간 안에서 예측을 수행하며, 예측이 어려운 세부 요소는 과감히 제외하는 데 있다. 아기가 중력을 이해해 가듯 관찰을 통해 세계의 근본적인 규칙을 익힌다. 이는 상식의 토대가 되며 현실 세계에서 추론하고 계획할 수 있는 진정한 지능형 시스템을 만드는 핵심이다. 지금까지 이 분야에서 가장 흥미로운 성과는 LLM 중심 사고에 머물러 있는 대형 산업 연구소가 아니라 학계에서 나오고 있다.

물리적 세계를 이해하는 AI를 발전시키는 데에는 텍스트 외 데이터의 부족이 큰 제약이었다. JEPA는 영상으로 학습한다고 했는데, 앞으로 어떤 종류의 데이터를 활용하게 되나.

우리 시스템은 텍스트뿐 아니라 영상, 음성, 다양한 센서 데이터로 학습할 예정이다. 로봇 팔의 위치 정보, (레이저를 이용해 주변 환경의 거리와 형태를 3차원으로 측정한) 라이다(LiDAR) 데이터, 음향 신호 등 여러 양식을 함께 다루고 있다. 또한 JEPA를 활용해 복잡한 물리 현상과 임상 현상을 모델링하는 프로젝트에도 참여하고 있다.

월드 모델은 구체적으로 어떤 분야에 활용될 수 있나.

적용 분야는 매우 광범위하다. 제트엔진, 제철소, 화학 공장처럼 수천 개의 센서가 연결된 복잡한 산업 공정을 떠올려 보자. 현재로서는 이런 시스템 전체를 포괄적으로 이해하는 완전한 모델을 구축할 방법이 사실상 없다. 월드 모델은 센서 데이터를 통해 이런 시스템을 학습하고 앞으로 어떻게 작동할지를 예측할 수 있다.

또 다른 예로는 사용자의 행동을 관찰해 현재 무엇을 하고 있는지 파악하고, 이어서 다음 행동까지 예측해 도움을 주는 스마트 안경을 들 수 있다. 이런 기술이야말로 행동을 수행하는 에이전트형 시스템을 신뢰할 수 있는 수준으로 끌어올리는 핵심이다. 현실 세계에서 실제로 행동해야 하는 시스템이 자신의 행동이 어떤 결과를 낳을지 예측할 수 있는 월드 모델을 갖추지 못한다면 안정적으로 작동하기 어렵고, 결국 실수를 반복하게 된다. 진정으로 유용한 가정용 로봇과 완전 자율주행을 가능하게 하는 열쇠도 바로 여기에 있다.

최근에는 특히 중국 기업들이 만든 휴머노이드 로봇이 큰 주목을 받고 있다. 이에 대해서는 어떻게 보나.

막대한 양의 학습 데이터를 투입하는 주먹구구 방식으로 학습 시스템의 한계를 우회할 수는 있다. 로봇이 쿵후를 하거나 춤을 추는 장면을 선보이는 기업들의 비결은 대부분 동작이 사전에 정밀하게 계획돼 있다는 점이다. 그러나 그런 로봇을 실제로 유용할 만큼 똑똑하게 만드는 방법을 아는 사람은 아직 없다.

각 작업마다 엄청난 양의 원격 조작 학습 데이터가 필요하고, 환경이 조금만 달라져도 성능이 잘 일반화되지 않는다. 이는 우리가 아주 중요한 무언가를 놓치고 있다는 뜻이다. 17세 청소년이 약 20시간의 운전 연습만으로 도로에 나설 수 있는 이유는 이미 세상이 어떻게 작동하는지에 대한 풍부한 지식을 갖고 있기 때문이다. 범용적으로 유용한 가정용 로봇을 만들려면 시스템이 물리적 세계를 충분히 이해하고 있어야 한다. 제대로 된 월드 모델과 계획 능력이 갖춰지기 전까지는 그런 수준에 도달하기 어렵다.

막대한 컴퓨팅 자원이 필요해지면서 학계에서 기초 AI 연구를 수행하기가 점점 어려워지고 있다는 목소리가 나온다. 앞으로 가장 중요한 혁신은 산업계에서 나오게 될 것이라고 보나.

그렇지 않다. LLM은 이제 연구라기보다 기술 개발 단계에 가깝다. 대규모 연산 자원과 데이터 접근권, 공학적 지원이 필요하기 때문에 학계가 이 분야에서 큰 역할을 하기 어려운 것은 사실이다. 그러나 이는 이제 하나의 제품 영역에 가깝다. 학계가 굳이 매달릴 대상은 아니다. 2010년대 초 음성 인식과 비슷하다고 볼 수 있다. 음성 인식 기술은 당시 이미 연구 차원에서 해결된 문제로 여겨졌고, 이후의 발전은 산업계가 주도했다.

학계가 집중해야 할 분야는 현재 시스템의 역량을 넘어서는 장기적인 목표를 세우는 것이다. 내가 대학 연구자들에게 LLM에 매달리지 말라고 말하는 이유이기도 하다. 의미가 크지 않을 뿐 아니라 LLM 분야에서는 산업계와 경쟁하기도 어렵다. 새로운 기술과 새로운 접근법을 연구해야 한다. 돌파구는 LLM을 더 크게 만드는 데서 나오지 않는다. 월드 모델 분야에서 가장 흥미로운 연구는 대형 산업 연구소가 아니라 학계에서 나오고 있다. 혁명의 출발점이 되었던 신경망에 어텐션 회로(attention circuit)를 도입하는 아이디어도 몬트리올대학교에서 시작됐다.

대형 기업들이 점점 더 폐쇄적으로 변하는 흐름이 이어지면 혁신의 속도는 둔화할 수밖에 없다. 학계에는 충분한 컴퓨팅 자원이 필요하지만 이미 성숙한 기술을 다듬는 데 집중하기보다는 다음 세대를 여는 새로운 아이디어에 힘을 쏟아야 한다.

교수, 연구원, 교육자, 공적 사상가 등 여러 역할을 맡아 왔다. 이제 새로운 역할까지 더해졌다. 어떤 모습을 기대하고 있나.

나는 회사의 이사회 의장을 맡게 되고 알렉스 르브런(Alex LeBrun)이 CEO를 맡는다. 프랑스식으로 발음하면 ‘르쿤과 르브룅’의 조합이 된다. 뉴욕대학교에서의 직위도 유지할 계획이다. 매년 한 과목을 가르치고, 박사과정 학생과 박사후연구원도 지도하고 있다. 기본적으로는 뉴욕에 머물게 되겠지만 연구실 일로 파리에도 자주 오가게 될 것이다.

그렇다면 실무에는 많이 관여하지 않는다는 뜻인가.

실무에 관여하는 방식에는 두 가지가 있다. 하나는 사람을 일상적으로 관리하는 일이고, 다른 하나는 실제 연구 프로젝트에 직접 뛰어드는 일이다. 관리 업무를 할 수는 있지만 선호하지도 않고 인생의 목표라고 생각하지도 않는다. 내가 추구하는 일은 과학과 기술을 가능한 한 진전시키는 것, 사람들이 흥미로운 문제에 도전하도록 영감을 주는 것, 그리고 그런 일에 직접 기여하는 것이다. 지난 7년간 메타에서 맡았던 역할도 그와 비슷했다. 페어를 설립해 4~5년 정도 조직을 이끌었지만, 솔직히 말해 책임자 역할은 썩 즐겁지 않았다. 경영 관리에는 소질이 많지 않다. 나에게는 비전을 제시하고 과학을 연구하는 일이 더 잘 맞는다.

알렉스 르브런이 적임자라고 보는 이유는 무엇인가.

알렉스는 연쇄 창업가다. AI 회사를 세 곳이나 성공적으로 키워 냈다. 첫 번째 회사는 마이크로소프트에, 두 번째 회사는 페이스북에 매각했다. 페이스북에서는 페어 파리 지사의 엔지니어링 부문을 이끌기도 했다. 이후 회사를 나와 의료 분야에서 큰 성공을 거둔 나블라(Nabla)를 설립했다. 내가 이번 프로젝트에 함께하자고 제안했을 때 그는 거의 즉시 수락했다. 그는 회사를 성장시킬 경험을 갖춘 인물이고, 덕분에 나는 과학과 기술에 집중할 수 있다.

본사는 파리에 둔다고 했는데, 다른 지역에도 사무실을 둘 계획인가.

글로벌 기업인 만큼 북미에도 사무실을 둘 예정이다.

뉴욕은 어떤가.

뉴욕은 훌륭한 도시다. 내가 있는 곳이기도 하다. 그리고 실리콘밸리가 아니라는 점도 좋다. 실리콘밸리는 다소 단일한 문화가 강하다.

아시아 지역은 어떤가. 싱가포르도 후보에 있나.

그럴 가능성이 크다. 어디가 될지는 추측에 맡기겠다.

인재는 어떻게 확보하고 있나.

채용에는 전혀 어려움이 없다. AI 연구 커뮤니티에는 미래가 월드 모델에 있다고 믿는 사람들이 많다. 그런 이들은 보상 수준과 관계없이 우리가 만들고자 하는 기술적 미래를 믿기 때문에 합류하고자 한다. 이미 오픈AI, 구글 딥마인드, xAI 출신 인재들을 영입했다.

뉴욕대학교와 구글 딥마인드에서 활동한 저명한 연구원 셰이닝 셰(Saining Xie)가 수석 과학자로 합류할 수 있다는 이야기도 들린다. 이에 대해 말해 줄 수 있나.

셰이닝은 내가 정말 존경하는 뛰어난 연구자로, 이미 두 차례 함께 일한 적이 있다. 한 번은 페어로 영입했고, 또 한 번은 뉴욕대학교 동료들을 설득해 채용했다. 그에 대해 큰 존경심을 갖고 있다는 정도로 말해 두겠다.

AMI 랩스의 투자 상황이나 핵심 인력 등 더 구체적인 정보는 언제쯤 공개할 수 있나.

곧 공개할 수 있을 것이다. 아마 2월쯤이 될 것 같다. 자세한 내용은 그때 설명하겠다.

The post [인터뷰] LLM 열풍에 맞서 새로운 도전 나선 ‘딥러닝 대부’ 얀 르쿤 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.