기술 억만장자들이 주장하는 ‘기술적 구원’의 민낯

올트먼, 베이조스, 머스크 등 기술 억만장자들은 초지능 AI로 인류를 구원하겠다고 주장한다. 이러한 환상적 비전 뒤에 숨겨진 권력과 통제의 욕망을 폭로한 신간이 출간됐다.

“미래를 예측하는 가장 좋은 방법은 미래를 발명하는 것이다.” 저명한 컴퓨터 과학자 앨런 케이(Alan Kay)가 남긴 이 말은 영감을 주려는 메시지보다는 좌절감에서 비롯된 푸념에 가까웠다. 하지만 이는 오늘날 실리콘밸리의 기업가들 사이에서 거의 복음처럼 받아들여지고 있다. 특히 스스로 인류의 미래를 설계할 수 있다고 믿는 일부 기술 억만장자들은 이 문장을 전적으로 신봉하는 듯하다.

샘 올트먼, 제프 베이조스, 일론 머스크 등으로 대표되는 기술 억만장자들은 단기적으로는 서로 다른 목표와 야망을 품고 있을지 모른다. 하지만 10년 후를 바라보는 그들의 비전은 놀라울 정도로 비슷하다. 그들의 비전은 단순한 기술적 목표라기보다는 인류가 생존을 위해 반드시 따라야 할 ‘과제’처럼 제시된다. 이러한 과제에는 ▲AI가 인류의 이익에 기여하게 만들기 ▲지구의 가장 시급한 문제를 해결할 ‘초지능(superintelligence)’의 창조 ▲초지능을 통해 불멸이나 그에 가까운 존재로 인류의 진화 ▲화성에 자급자족이 가능한 영구 식민지 건설 ▲궁극적으로 인류의 활동 무대를 우주 전역으로 확장하는 것 등이 포함된다.

과학 저술가이자 천체물리학자인 애덤 베커(Adam Becker)는 이러한 비전의 이면에는 방대한 철학과 이념이 얽혀 있다고 주장한다. 그는 그중에서도 “기술이 모든 문제를 해결할 수 있다는 절대적 믿음”, “끊임없는 성장이 필요하다는 확신”, “인간의 육체적·생물학적 한계를 초월하려는 종교에 가까운 집착”이라는 세 가지 요소를 핵심으로 꼽는다.

베커는 신간 《끝없는 욕망: AI 지배자, 우주 제국, 그리고 인류의 운명을 통제하려는 실리콘밸리의 성전(More Everything Forever: AI Overlords, Space Empires, and Silicon Valley’s Crusade to Control the Fate of Humanity)》에서 이 세 가지 믿음을 “기술적 구원의 이데올로기”라고 명명하며 기술업계 거물들이 이를 통해 인류를 매우 위험한 방향으로 이끌고 있다고 경고한다.

“이러한 사상에는 공통적으로 탈출과 초월의 개념이 깔려 있다. 또한 기술 발전을 가로막지만 않는다면 상상을 넘어서는 기적들이 가득한 놀라운 미래가 펼쳐질 것이라는 약속도 담겨 있다.”

베커는 “이처럼 공상과학적인 미래에 대한 기술 억만장자들의 신뢰는 더 많은 것에 대한 욕망을 정당화한다. 비즈니스 확장은 도덕적 사명이 되고 복잡한 사회 문제는 단순한 기술 문제로 축소되며 그들은 원하는 모든 행동을 정당화할 수 있게 된다”고 있다고 지적한다. 그는 이러한 비전에서 벗어나는 유일한 방법은 그 실체를 정확히 파헤치는 것이라고 강조한다. 즉, 그들의 주장이 환경을 지속적으로 파괴하고 규제를 회피하며 권력과 통제를 강화하고 현재의 문제를 외면한 채 미래의 환상에만 몰두하기 위한 편리한 핑계에 불과하다는 사실을 깨달아야 한다는 것이다. 

수많은 비평가, 학자, 언론인이 오래전부터 실리콘밸리를 움직이는 신념을 정의하거나 요약하려고 시도해 왔다. 1990년대 중반에는 이를 ‘캘리포니아 이데올로기(Californian Ideology)’라고 불렀고 2000년대 초반에는 ‘빠르게 움직이고 기존 질서를 파괴하라(Move fast and break things)’는 모토가 유행했다. 최근에는 ‘나에게는 자유지상주의를, 너에게는 봉건주의를(Libertarianism for me, feudalism for thee)’ 또는 ‘기술 권위주의(techno-authoritarian)’라는 관점도 등장했다. 저자가 말하는 ‘기술적 구원의 이데올로기’는 이 흐름 속에서 어떤 위치에 있다고 보는가?

실리콘밸리의 사고방식을 설명하려는 이전의 시도들과 본질적으로 같은 맥락에 있다고 본다. 예컨대 1990년대 맥스 모어(Max More)가 제시한 트랜스휴머니즘(transhumanism)의 원칙에서 시작해 [반문화·자유지상주의·신자유주의가 뒤섞인] 캘리포니아 이데올로기로 이어지고, 궁극적으로 내가 주장하는 ‘기술적 구원의 이데올로기’라는 관념으로 연결되는 사상적 계보가 존재한다. 사실 실리콘밸리의 사고방식을 규정하는 많은 개념은 오래전부터 명확했다. 자유지상주의, 정부와 규제에 대한 반감, 기술에 대한 무한한 신뢰, 그리고 최적화에 대한 집착이 핵심이다.

다만 이 모든 사상이 어디서 유래되었고 실제로 어떻게 연결되는지를 파악하는 일은 쉽지 않다. 애초에 이 개념들이 서로 조화를 이룰 수 있는지도 불분명하다. 내가 제안하는 ‘기술적 구원의 이데올로기’라는 개념은 얼핏 보기에 파편적이고 모호해 보이는 여러 철학과 관념들을 하나의 일관된 세계관으로 통합해 보기 위한 시도였다. 이는 벤처 자본가, 기업 경영진, 기술 업계의 사상가들이 공통적으로 공유하는 사고방식의 핵심을 이루고 있다.

독자들은 책에 등장하는 기술 억만장자들과 그들의 야망에 대해 어느 정도 익숙할 것이다. 하지만 저자가 그들의 사고방식에 영향을 주었다고 주장하는 여러 ‘사상(효과적 이타주의, 합리주의, 장기주의, 엑스트로피주의, 효과적 가속주의, 미래주의, 특이점주의, 트랜스휴머니즘)’은 다소 생소하게 느껴질 수 있다. 이 사상들 사이에는 어떤 공통점이 있는가?

이 사상들은 분명 서로 연결되어 있다. 어떻게 보면 모두 기술적 구원의 이데올로기가 다양한 형태로 구현된 버전이라고 할 수 있다. 동시에 이들 사상은 그 추종자들 사이의 인적 관계, 그들이 공유하는 목표와 신념 측면에서도 매우 깊은 역사적 연관성을 갖고 있다. 예컨대 1980년대 후반 유행했던 ‘기술을 통해 인간의 한계를 극복하고, 영생이나 초지능 등 더 나은 미래를 추구하는 사상’인 엑스트로피주의(Extropianism) 지지자들은 기술을 통해 자기 자신을 변화시키고 모든 한계에서 벗어나려 했다. 이는 이후 세계적 미래학자인 레이 커즈와일(Ray Kurzweil)의 특이점(Singularity) 이론, 즉 기술 발전 특히 AI의 급진적 성장이 어느 순간 인류 문명의 근본적인 변화를 일으킬 것이라는 예측을 통해 대중화되면서 더 많은 이들에게 영향을 미치게 되었다.

이러한 사상에는 공통적으로 탈출과 초월의 개념이 깔려 있다. 또한 기술 발전을 가로막지만 않는다면 상상을 넘어서는 기적들이 가득한 놀라운 미래가 펼쳐질 것이라는 약속도 담겨 있다. 참고로 AI 연구자 팀닛 게브루(Timnit Gebru)와 철학자 에밀 토레스(Émile Torres) 역시 이 이데올로기들 사이의 연관성을 분석하고 그 뿌리가 인종주의, 여성혐오, 우생학 등과 맞닿아 있다는 점을 밝힌 바 있다.

저자는 특이점이 기술적 구원이라는 이데올로기를 가장 극단적으로 보여주는 사례라고 본다. 그 이유는 무엇인가?

우선 특이점이라는 개념이 매우 단순하고 직관적인 아이디어이기 때문이다. 언젠가 특이점이 도래해 우리의 뇌가 클라우드와 융합되면 지능이 수백만 배로 확장되고 그에 따라 의식과 자각의 수준도 깊어지며 모든 것이 경이로워질 것이라는 주장이다. 이 개념은 기술로 실현되는 유토피아에 대한 환상적인 비전을 담고 있다. 우리는 원하는 만큼 오래 살 수 있고, 자비로운 기계들의 보호를 받으며 영원한 낙원에서 지내며, 모든 것이 끝없이 좋아지기만 할 것이라는 매우 단순한 이야기이다.

반면 책에서 언급한 다른 사상들은 보다 다층적이다. ‘무게감’이라는 표현은 적절하지 않지만 더 복잡하고 다양한 내용을 담고 있다. 예컨대 합리주의자, 효과적 이타주의자, 장기주의자들은 특이점이 일어날 것이거나 적어도 가능성이 있다고 믿지만 그 지점에 이르려면 반드시 중대한 위협을 극복해야 한다고 본다. 예컨대 특이점에 도달하려면 매우 강력한 AI가 인류를 해칠 수도 있다는 정렬 문제(alignment problem)를 먼저 해결해야 한다는 식이다.

한편 효과적 가속주의자들은 커즈와일과 유사하지만 테크 브로(tech bro)에 가까운 색채를 띤다. 이들은 특이점 이론에 담긴 전통적인 트랜스휴머니즘 사상을 스타트업 문화에 맞게 재해석했다. 마크 안드리센(Marc Andreessen)이 [2023년 발표한] 기술 낙관주의 선언문(Techno-Optimist Manifesto)이 대표적인 예다. 실리콘밸리에서 확산된 다양한 철학들은 결국 커즈와일의 특이점 이론에서 파생된 변주들이라고 볼 수 있다. 모두 초월, 기술 낙관주의, 기하급수적 성장이라는 핵심 개념을 공유하고 있다.

책 초반부에서 저자는 커즈와일이 제시한 ‘가속 수익의 법칙(Law of Accelerating Returns)’을 중심으로 대표되는 기하급수적 성장 이론을 비판한다. 이 법칙은 무엇이며, 왜 잘못되었다고 보는가?

커즈와일은 기술 발전에 ‘가속 수익의 법칙’이라는 우주적 원칙이 작용한다고 본다. 이는 기술 발전이 선형이 아니라 기하급수적으로 이루어진다는 주장이다. 하나의 기술이 발전하면 그 발전이 이후 기술 발전을 더욱 가속하고, 그 결과 더 높은 복잡성과 더 강력한 기술력이 지속적으로 쌓여간다는 논리다. 하지만 나는 이 주장이 착각에 불과하다고 생각한다. 커즈와일은 이 법칙을 근거로 특이점이 필연적으로 도래할 것이라고 주장하지만 이 법칙을 믿는 사람은 그뿐만이 아니다.

“개인적으로 그 정도로 부자가 되면 생각하는 척만 해도 진지하게 사고하는 것처럼 보일 수 있고, 누구도 이를 지적하거나 불편한 진실을 말해주지 않을 거라고 생각한다.”

무어의 법칙에 너무 집착한 결과가 아닌가 싶다. 무어의 법칙은 잘 알려진 예측으로, 반도체 칩에 들어가는 트랜지스터 수가 약 2년마다 두 배로 증가하지만 비용은 거의 증가하지 않는다는 예측이다. 실제로 지난 50년간 이러한 추세가 지속되긴 했지만 우주의 어떤 근본적인 법칙이 작용했기 때문은 아니다. 기술 업계가 의도적으로 이러한 발전 방향을 택했고 막대한 자본을 쏟아부은 결과일 뿐이다. 무어의 법칙은 어디까지나 역사적 추세에 대한 흥미로운 관찰이자 전망에 불과하다. [이 법칙을 처음 제시한] 고든 무어조차 이 추세가 영원히 지속될 수는 없다는 것을 알고 있었다. 실제로 이 법칙이 이미 끝났다고 보는 이들도 있다.

이러한 이데올로기들은 꽤 위험한 인물들에게서 영감을 받았다. 트랜스휴머니즘이라는 개념은 우생학자로 알려진 줄리언 헉슬리(Julian Huxley)가 1951년 한 연설에서 사용하며 대중화되었고 마크 안드리센의 ‘기술 낙관주의 선언문’에는 파시스트로 유명한 필리포 토마소 마리네티(Filippo Tommaso Marinetti)와 그의 미래주의 선언문이 언급된다. 책을 쓰면서 이런 이념을 신봉하는 기술업계 리더들이 그 위험한 기원을 제대로 인식하고 있다고 느꼈는가?

이 질문에는 이들이 ‘진지하게 사고한다’는 전제가 깔려 있다. 하지만 내가 책에서 지적한 것처럼 안드리센의 선언문은 거의 논리 없이 ‘분위기’만으로 쓰인 글이다. 아마 누군가가 그에게 미래주의 선언문에 대해 이야기했고 그는 그냥 그 분위기가 마음에 들어 일부를 인용했을 가능성이 크다. 마리네티에 대해 뭔가 들었다가 잊었을 수 있고 처음부터 신경도 쓰지 않았을 수도 있다.

개인적으로 그 정도로 부자가 되면 생각하는 척만 해도 진지하게 사고하는 것처럼 보일 수 있고 누구도 이를 지적하거나 불편한 진실을 말해주지 않을 거라고 생각한다. 이들 억만장자에게는 통제에 대한 환상을 심어주는 파시즘, 권위주의, 식민주의적 분위기가 매력적으로 느껴질 수 있다.

저자는 이러한 미래 비전이 환경 파괴를 가속화하고 권위주의를 강화하며 불평등을 심화시키는 데 사용되고 있다고 주장한다. 하지만 동시에 이러한 비전이 억만장자가 아닌 많은 사람에게도 매력적으로 보인다는 점을 인정한다. 그 이유가 무엇이라고 생각하는가?

우리도 대부분 사실 억만장자들과 비슷한 이유로 이러한 비전에 끌린다고 생각한다. 즉, 미래를 예측할 수 있다는 환상, 죽음을 초월할 수 있다는 믿음, 그리고 누군가 또는 무언가가 세상을 통제하고 있다고 느끼게 하기 때문이다. 점점 더 복잡해지고 빠르게 변화하는 세상에서 단순하고 일관된 서사는 매우 커다란 위안을 줄 수 있다. 많은 사람에게 종교도 이와 비슷한 의미를 갖는다. 실제로 합리주의자나 효과적 이타주의자 커뮤니티에 속한 사람 중 상당수가 원래 복음주의 신자였다는 사실은 결코 우연이 아니라고 생각한다.

특정 기술보다 더 중요한 사실은 이 억만장자들이 자신들이 제시하는 미래에 대한 비전이 운명처럼 정해져 있기 때문에 반드시 실현될 것이라는 믿음을 심어왔다는 점이다. 이러한 믿음에 어떻게 맞설 수 있을까? 

쉬운 문제는 아니다. 내게는 이 책을 쓰는 것이 그에 대한 하나의 해답이었다. 또 한 가지 덧붙이자면 실리콘밸리는 10년 넘게 거의 어떤 반대나 견제 없이 성장해 왔다. 그 점이 우리가 현재 이처럼 복잡한 상황에 놓이게 된 주된 이유 중 하나다. 규제도 없었고 언론의 비판적 보도도 드물었으며 스스로 만든 신화에 빠져 있었다. 하지만 이제 변화가 일기 시작했다. 기술 기업과 그 리더들이 초래한 사회적·환경적 피해가 점점 더 명확히 드러나고 있기 때문이다. 이 현실을 인식하는 것이야말로 이들의 권력을 무너뜨리고 그들의 비전에서 벗어나는 첫걸음이다. 그들이 말하는 미래가 우리에겐 사실상 악몽일 수 있다는 것을 깨닫는 순간 ‘운명처럼 정해진 미래’라는 믿음도 빠르게 사라질 것이다.

이 글을 쓴 브라이언 가디너(Bryan Gardiner)는 캘리포니아 오클랜드에 거주하고 있는 작가이다.

The post 기술 억만장자들이 주장하는 ‘기술적 구원’의 민낯 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.