AI가 인류를 위협할 거란 비관론자들의 믿음은 여전히 유효할까?

사회 전반을 뒤덮은 AI 열풍 속에서도 AI 비관론자들은 묵묵히 경고를 이어가고 있다. 비판, 조롱 및 신뢰도 논란에도 불구하고 이들은 범용인공지능(AGI)이 초래할 위험이 여전히 실재한다고 주장한다.

AI 비관론자들에게는 여러모로 낯선 시기다.

연구자, 과학자, 정책 전문가로 이루어진 이 작지만 영향력 있는 집단은 AI가 지나치게 발전할 경우 인류에게 매우 위험한 결과를 초래할 수 있다고 믿는다. 이중 다수는 스스로를 종말론자라기보다는 AI 안전을 옹호하는 사람이라고 설명하겠지만, 그럼에도 AI가 인류의 존재 자체를 위협할 수 있다고 경고한다. 이들은 충분한 규제가 마련되지 않는다면 AI 업계가 통제할 수 없는 시스템을 향해 치닫게 될 것이라고 주장한다. 또한 이들은 공통적으로 이러한 미래가 범용인공지능(AGI)의 등장 이후에 도래할 것으로 예견한다. AGI는 아직 명확히 정의된 개념은 아니지만, 일반적으로 인간이 할 수 있는 거의 모든 일을 인간보다 더 잘 수행할 수 있는 기술로 이해된다.

이러한 관점이 AI 분야 전반에서 폭넓은 공감대를 얻고 있는 것은 아니지만, AI 비관론 진영은 지난 몇 년간 주목할 만한 성과를 거두었다. 바이든 행정부의 AI 정책 수립에 기여했고, AI 위험을 막기 위한 국제적 ‘제한 기준’ 설정을 촉구하는 주요 인사들의 성명을 끌어냈으며, 그중 일부가 과학계에서 가장 권위 있는 상을 받으면서 더 크고 더 영향력 있는 발언권을 얻게 되었다.

그러나 지난 6개월 동안 이어진 일련의 변화는 이들의 입지를 크게 흔들어 놓았다. 테크 기업들이 미래 수요가 실제로 뒷받침될지 확신하지 못한 채 제2차 세계대전 중 미국의 핵무기 개발 프로젝트인 맨해튼 프로젝트에 비견될 정도의 대규모 데이터 센터 투자를 이어가면서, 담론의 중심은 AI 거품론으로 옮겨갔다. AI 거품론은 AI가 ‘너무 위험하다’는 주장보다
‘아직 그렇게 대단하지 않다’는 인식을 강화하기 때문에 오히려 AI 비관론자들을 수세로 몰아넣게 된 것이다.

여기에 8월 공개된 오픈AI의 최신 파운데이션 모델 GPT-5도 기대에 미치지 못한다는 평가를 받았다. 역대 가장 큰 관심을 모았던 모델 출시였던 만큼 어느 정도 예견된 실망일 수도 있다. 샘 올트먼 오픈AI의 최고경영자(CEO)는 “GPT-5가 모든 분야에서 박사급 전문가처럼 느껴진다”고 말했고, 팟캐스터 테오 본(Theo Von)과의 인터뷰에서는 “GPT-5 성능이 너무 뛰어나 자신이 AI에 비하면 쓸모없게 느껴질 정도”라고까지 언급했기 때문이다.

많은 이들이 GPT-5가 AGI를 향한 커다란 도약이 될 것이라 기대했다. 하지만 모델의 구체적인 성과는 연달아 발생한 기술적 오류들과 사전 예고 없이 기존 모델 전체에 대한 접근을 차단했다가 곧바로 번복한 오픈AI의 이해하기 어려운 결정에 묻혀버렸다. 신규 모델이 최고 수준의 벤치마크(모델 성능을 비교하는 지표) 점수를 기록했음에도 불구하고, 일상적 활용에서는 오히려 이전보다 못하다는 가혹한 평가도 적지 않았다.

이 모든 상황은 AI 비관론자들이 내세워 온 논리의 근간을 위협하는 듯 보인다. 반대로, AI 발전 속도가 충분히 빠르지 않으며 과도한 규제가 산업을 위축시킬 수 있다고 우려해 온 AI 가속론자들은 AI 안전에 대한 접근 방식을 바꿀 수 있는(더 정확히 말하면, 규제에 대한 논의 자체를 무력화할) 새로운 기회를 맞이하고 있다.

이러한 분위기는 특히 워싱턴으로 자리를 옮긴 업계 인사들 사이에서 확연히 두드러진다. 벤처 투자자로 오랜 경력을 쌓은 뒤 트럼프 행정부의 AI 정책 총괄을 맡게 된 데이비드 색스(David Sacks)는 “AI 비관론자들의 주장은 틀렸다”고 단언했다. 백악관의 AI 담당 수석 정책보좌관이자 기술 투자자인 스리람 크리슈난(Sriram Krishnan) 역시 “AGI가 곧 등장할 것이라는 생각은 논의를 흐리고 AI의 발전을 저해했으며, 이제는 사실상 틀린 것으로 드러났다”고 밝혔다. 색스와 크리슈난은 취재 요청에 응하지 않았다.

(물론 AI 안전 논쟁에는 또 다른 진영도 존재한다. 흔히 ‘AI 윤리’ 진영으로 구분되는 연구자들과 활동가들이다. 이들 역시 규제를 지지하지만, AI 발전 속도가 과장되었다고 보며 AGI 자체를 공상과학적 이야기 또는 눈앞의 위험에 대한 시선을 돌리기 위한 허상으로 여기는 경우가 많다. 그러나 설령 AI 비관론이 힘을 잃는다 해도, 이들에게 가속론자와 같은 새로운 기회가 열리는 것은 아니다.)

그렇다면 AI 비관론자들은 지금 어떤 상황에 놓여 있을까? MIT 테크놀로지 리뷰는 이 움직임을 대표하는 주요 인물들에게 최근의 잇따른 실망과 전반적인 분위기 변화가 그들의 시각에 변화를 가져왔는지 직접 물어보기로 했다. 그들은 정책 입안자들이 더 이상 자신의 경고에 귀 기울이지 않는 현실에 분노하고 있을까? 아니면 조용히 종말 시계의 시간을 다시 조정하고 있을까?

최근 AI 안전과 거버넌스를 연구하거나 옹호하는 20명을 대상으로 한 인터뷰에 따르면, 이들에게서는 낙담하거나 혼란스러운 기색을 조금도 찾아볼 수 없었다. 인터뷰 대상자에는 노벨상 수상자 제프리 힌턴(Geoffrey Hinton), 튜링상 수상자 요슈아 벤지오(Yoshua Bengio), 전 오픈AI 이사회 구성원 헬렌 토너(Helen Toner)와 같은 쟁쟁한 인물들이 포함되어 있다. 이들은 AGI가 여전히 실현 가능한 기술일 뿐 아니라 인류에게 극도로 위험한 존재가 될 수 있다는 신념을 굳건히 유지하고 있었다.

하지만 이들 사이에서는 미묘한 긴장감도 감지된다. 그들은 최근의 여러 흐름을 고려할 때 AGI의 등장이 자신들의 예상보다 늦어질 수 있다는 점에는 어느 정도 안도하고 있지만(AI 연구자 제프리 래디시(Jeffrey Ladish)는 “시간이 더 생긴 것은 다행”이라고 말했다) 동시에 권력을 가진 일부 인사들이 자신들의 문제의식과는 정반대 방향으로 정책을 밀어붙이고 있다는 사실에는 깊은 좌절을 느끼고 있다(<AI 2027>이라는 경고성 전망 보고서의 주저자인 대니얼 코코타일로(Daniel Kokotajlo)는 “AI 정책이 오히려 퇴보하고 있는 것 같다”며, 색스와 크리슈난의 발언을 두고 “정신이 나갔거나, 적어도 정직하지 않다”고 비판했다).

전반적으로 이러한 전문가들은 AI 거품론을 AGI 등장 시점을 잠시 늦출 수 있는 일시적 소동 정도로 여기며, GPT-5에 대한 실망 역시 실제 상황을 이해하는 데 도움이 되기보다 혼란을 더 키운다고 본다. 이들은 여전히 보다 강력한 규제를 지지하며, 유럽연합(EU)의 AI 규제법 시행, 미국 최초의 주요 AI 안전 법안인 캘리포니아주 SB 53의 통과, 그리고 일부 연방의원들 사이에서 다시 부상한 AGI 위험에 대한 관심 등 최근까지 쌓아온 정책적 성과들이 단기적 실망에 대한 미국 정부의 과잉 반응으로 인해 흔들리고 있다고 우려한다.

또한 일부 인사들은 AI 비관론자들에 대해 반복적으로 제기되는 오해를 바로잡고 싶어 했다. 비판 진영에서는 비관론자들이 항상 “AGI가 곧 등장할 것”이라 주장해 왔다고 비웃지만, 그들은 이는 자신들의 핵심 주장이 아니라고 선을 긋는다. 《휴먼 컴패터블: 인공지능과 통제 문제(Human Compatible: Artificial Intelligence and the Problem of Control)》의 저자이자 버클리 대학교 교수인 스튜어트 러셀(Stuart Russell)은 “문제의 핵심은 시기의 임박함이 아니다”라고 강조했다. 실제로 인터뷰에 응한 대부분의 인물은 지난 1년 동안 위험한 시스템이 등장할 시점에 대한 전망을 오히려 조금 늦춰서 잡게 되었다고 밝혔다. 정책과 기술 환경이 빠르게 변하는 상황에서 이는 중요한 변화다.

“만약 누군가 2067년에 지름 4마일(약 6.4km)짜리 소행성이 지구와 충돌할 것으로 예측한다면 ‘2066년에 가서 생각해 보자’고 말하는 사람은 없을 것이다.”

실제로 이들 중 상당수는 예측 시점을 다시 조정하는 것 자체가 중요하다고 강조한다. AGI 도달 시점이 지금은 조금 늦춰졌을지라도, 토너는 챗GPT 이후 시대를 관통하는 가장 큰 변화 중 하나로 AI 업계 전반에서 이 예상 시점이 극적으로 앞당겨지고 압축되었다는 사실을 지적한다. 그녀에 따르면 과거에는 AGI가 수십 년 뒤에나 가능할 것으로 여겨졌지만, 이제는 그 개발 시점이 대체로 향후 몇 년에서 길어도 20년 이내로 전망되고 있다. 그렇기 때문에 시간이 조금 더 생긴 듯 보이더라도, 그녀와 많은 동료는 여전히 AI 안전 문제가 극도로 시급하고 중대한 사안이라고 본다. 토너는 “AGI가 앞으로 30년 안에라도 등장할 수 있다면 그 자체로 엄청난 일이며, 훨씬 더 많은 사람이 이 문제에 매달려야 한다”고 강조했다.

이처럼 다소 불안정한 상황이 이어지고 있음에도, AI 비관론자들의 주된 입장은 달라지지 않았다. AGI가 언제 등장하든(이들은 그러한 미래가 현실화될 가능성이 크다고 말한다), 현재 세계는 그에 대한 준비가 턱없이 부족하다는 것이다.

이러한 견해에 동의할 수도 있고, 미래가 그렇게 정해진 것이 아니라고 생각할 수도 있다. 혹은 이런 논의를 공상과학적 상상으로 치부하거나, AGI 담론 자체를 거대한 음모론으로 보는 독자도 있을 것이다. 의견이 갈리는 것은 당연하다. 그러나 AI 비관론에 대한 평가와 무관하게 이 논의의 중심에서 특정 인물들이 상당한 영향력을 행사하고 있다는 사실은 부정할 수 없다. 아래에서는 AI 분야 주요 인사들이 현재 상황을 어떻게 보고 있는지를 그들의 목소리로 직접 전한다.

인터뷰 내용은 분량과 가독성을 위해 편집 및 요약했다. 

---

노벨상 수상자도 확신할 수 없는 미래

제프리 힌턴: 딥러닝의 선구자이자 튜링상·노벨 물리학상 수상자

지난 몇 년간 가장 크게 달라진 점은 AI가 위험하다고 말하는 사람들이 더 이상 쉽게 무시할 수 없는 존재가 되었다는 점이다. 예컨대 전(前) 구글 CEO 에릭 슈미트(Eric Schmidt)는 이 기술이 실제로 상당한 위험을 내포하고 있음을 분명히 인식하고 있다. 얼마 전 우리는 함께 중국을 방문해 정치국 구성원이자 상하이시 당서기인 한 인사를 나누며 그가 AI의 위험성을 제대로 이해하고 있는지 확인했다. 그는 실제로 이를 명확히 이해하고 있었다. 중국 지도부는 엔지니어 출신이 많아 AI와 그 위험성을 훨씬 더 깊이 이해하고 있는 것 같다.

나는 주로 AI가 인간보다 더 똑똑해졌을 때 과연 인간이 과연 통제권을 유지하거나 의미 있는 존재로 남을 수 있을지와 같은 장기적 위협에 집중해 왔다. 그러나 무엇 하나 필연적인 것은 없다고 생각한다. 지금 벌어지는 모든 일은 거대한 불확실성에 둘러싸여 있으며, 우리는 한 번도 가보지 않은 영역에 들어섰다. 그래서 앞으로 벌어질 일을 확신한다고 말하는 사람들은 솔직히 어리석어 보인다. 개인적으로는 가능성이 낮다고 보지만, 어쩌면 “AI는 과대평가됐다”고 말하는 사람들의 주장이 맞을 수도 있다. 데이터의 한계로 벽에 부딪혀 현재의 챗봇 수준에서 더 나아가지 못할 가능성도 있다. 내가 믿는 시나리오는 아니지만, 그 가능성을 완전히 배제할 수는 없다.

또한 “누군가 AGI를 만들면 인류는 모두 멸망하게 될 것”이라고 주장하는 엘리저 유드코스키(Eliezer Yudkowsky) 같은 이들의 말에도 동의하지 않는다. 미래는 누구도 장담할 수 없다.

다만 지금까지의 증거를 종합해 보면, AI를 잘 아는 전문가들 대부분은 향후 20년 안에 초지능(superintelligence)이 등장할 가능성이 높다고 보는 것 같다. 데미스 허사비스(Demis Hassabis) 구글 딥마인드 CEO는 이를 10년으로 전망하기도 한다. 저명한 AI 회의론자 게리 마커스(Gary Marcus)조차 “전통적인 기호 논리를 결합한 하이브리드 시스템을 만든다면 그게 초지능이 될 수도 있다”고 말할 가능성이 크다[편집자 주: 마커스는 지난 9월 AGI가 2033년에서 2040년 사이에 등장할 것으로 예측했다].

기술 발전이 AGI에서 멈출 것이라고 믿는 이는 거의 없다. AGI가 만들어지면 몇 년 안에 초지능이 뒤따를 것이라는 전망이 지배적이다. AGI 자체가 인간보다 더 뛰어난 AI 개발 능력을 갖추게 될 것이기 때문이다.

AI 개발을 둘러싼 여건은 점점 더 불리해지고 있지만, 동시에 [첨단 AI 개발에] 투입되는 자원은 폭발적으로 늘고 있다. 이런 대규모 투자가 계속되는 이상 AI의 발전은 멈추지 않을 것이라고 본다.

위험성을 더 일찍 깨닫지 못한 것을 아쉬워하는 딥러닝의 선구자

요슈아 벤지오: 튜링상 수상자, 국제 AI 안전 보고서(International AI Safety Report) 의장, 로제로(LawZero, AI 안전성 확보를 위한 비영리조직) 설립자

어떤 이들은 GPT-5를 두고 AI 발전이 한계에 다다른 것 아니냐고 말하지만 이는 과학적 데이터나 추세와는 맞지 않는 해석이다.

상업적인 이유로 AGI가 당장이라도 개발될 것처럼 과장해 온 사람들도 있었다. 그러나 여러 벤치마크 결과를 보면 GPT-5의 성능은 현재 시점에서 예상 가능한 수준이다. 이는 GPT-5만의 이야기가 아니다. 클로드(Claude)나 구글 모델들도 동일한 흐름을 보이고 있다. 연초까지만 해도 결과가 좋지 않았던 영역, 가령 고급 추론 및 전문 지식 능력을 평가하는 인류의 마지막 시험(Humanity’s Last Exam)이나 고급 수학적 추론 능력을 평가하는 프런티어매스(FrontierMath) 같은 벤치마크에서도 지금은 훨씬 더 높은 점수가 관측되고 있다.

한편 AI 거버넌스와 안전을 둘러싼 전반적인 환경은 낙관적이지 않다. 규제를 막으려는 강력한 움직임이 존재하기 때문이다. 이는 기후 변화 문제와도 비슷한 면이 있다. 현실을 외면한다고 해서 위험이 사라지는 것은 아니며, 문제를 해결하는 데 아무런 도움이 되지 않는다.

정책 입안자들과의 주된 견해 차이는 현재의 AI 발전 추세가 이어질 경우 세상이 얼마나 크게 바뀔지를 제대로 이해하지 못한다는 점에서 기인한다. 많은 기업인과 정부 관계자들은 AI를 막대한 경제 효과를 가져올 또 하나의 기술 정도로만 간주한다. 이들은 이 같은 발전이 계속돼 AI가 인간 수준에 도달하면 세상이 얼마나 크게 변화할지 정확히 인식하지 못하고 있다. 

나 역시 대다수의 사람처럼 잠재적 위험을 어느 정도 외면해 왔다. 훨씬 더 일찍 깨달았어야 한다는 아쉬움이 남는다. 하지만 이는 인간적인 한계이기도 하다. 자신이 하는 연구에 몰두하다 보면 긍정적인 면에 더 주목하고, 부정적 결과에 대해서는 둔감해지기 마련이다.

하지만 수십억 명이 목숨을 잃는 사고가 발생할 확률이 1%나 0.1%라도 존재한다면 그런 위험은 결코 용납될 수 없다.

AI는 계속 발전하고 있지만, 그 속도가 거품 붕괴를 막기에는 역부족이라고 보는 AI 분야의 원로

스튜어트 러셀: 캘리포니아 대학교 버클리 캠퍼스 컴퓨터과학과 석좌교수, 《휴먼 컴패터블》 저자

나는 실존적 위험에 대한 이야기를 ‘비관론’이나 ‘공상과학’으로 치부하는 인식이 사라지기를 바란다. 이제는 주요 AI 연구자들과 유명 AI 기업 CEO들 대부분이 이 문제를 심각하게 받아들이고 있기 때문이다.

한때는 AI가 튜링 테스트(Turing test, 기계가 인간처럼 사고할 수 있는지를 평가하는 시험)를 통과할 수 없을 것이라거나, 자연어를 유창하게 사용하는 시스템은 개발할 수 없다거나, 자동차를 평행 주차하는 시스템은 만들 수 없을 것이라는 주장들이 있었다. 하지만 이런 비관적 예측들은 기술 발전 속에서 지속적으로 뒤집혀 왔다.

지금 이 순간에도 사람들은 초인적 수준의 AI를 개발하기 위해 수조 달러를 쏟아붓고 있다. 새로운 발상이 필요하다는 생각이 들지만, 최근 몇 년 사이에 굵직한 아이디어가 잇따라 모습을 드러낸 만큼 그 가능성도 무시할 수 없다.

지난 12개월 동안 내가 변함없이 유지해 온 생각은 이런 혁신이 AI 업계의 거품 붕괴를 막을 만큼 빨리 등장하지 않을 가능성이 75%라는 것이다. 현재 진행 중인 투자들은 실제 고객에게 훨씬 더 큰 가치를 제공할 훨씬 더 나은 AI가 등장할 것이라는 가정에 기반하고 있다. 그러나 그 전망이 빗나간다면 주식시장은 심각한 후폭풍을 피할 수 없을 것이다.

그렇지만 AI 안전성 논의는 핵심은 시급성이 아니다. 문제는 우리가 여전히 초지능 AI를 어떻게 통제할지에 대한 해답을 갖고 있지 않다는 데 있다. 만약 누군가 2067년에 지름 4마일(약 6.4킬로미터)짜리 소행성이 지구와 충돌할 것으로 예측한다면 “2066년에 가서 생각해 보자”고 말하는 사람은 없을 것이다. 초지능 AI를 통제하는 데 필요한 기술을 개발하는 데 얼마나 시간이 걸릴지는 누구도 알 수 없다.

과거 사례들을 살펴보면 원자력 발전소의 노심 용융 사고에 대해 허용되는 연간 위험 수준은 약 백만 분의 일이다. 인류 멸종은 그보다 훨씬 심각한 문제이기에 허용 가능한 위험 수준은 십억 분의 일 정도가 되어야 할 것이다. 하지만 기업들은 실제 위험을 5분의 1 수준으로 보고 있는 듯하다. 이 위험을 허용 가능한 수준으로 낮추는 방법을 아무도 모른다는 점이 가장 큰 문제다.

AI 안전에 대한 서사를 바로잡으려는 교수

데이비드 크루거(David Krueger): 몬트리올 대학교 및 요슈아 벤지오가 설립한 밀라 연구소(Mila Institute) 소속 머신러닝 조교수, AI 위험성 대응을 위한 비영리단체 에비터블(Evitable) 설립자

GPT-5에 대한 사람들의 반응에 지나친 면이 있다고 생각한다. 기대가 과도했던 것은 사실이다. 기억을 더듬어 보면, 여러 기업 CEO들이 표현 방식은 달랐지만 “2025년 말이면 자동화된 원격 근로자가 등장해 바로 현장 투입이 가능해질 것”이라는 식의 주장을 펼치곤 했다. 하지만 에이전트 기술은 아직 그 수준에 도달하지 못했고, 전반적인 결과도 기대에 미치지 못했다.

AGI가 2027년에 등장할 것이라는 예측이 이렇게까지 대중의 관심을 끄는 점도 놀랍다. 만약 2027년이 되어도 세상이 크게 달라지지 않는다면 많은 이들은 그 세계관 전체가 틀렸다고 느낄 것이다. AI 안전에 관해 이야기할 때마다 사람들이 내가 위험한 시스템이 곧 등장한다고 믿는다거나, LLM이나 딥러닝만으로 AGI가 실현될 것이라고 믿는다고 단정하는 점도 답답하다. 사람들은 내 주장에 불필요한 곁가지를 덧붙인다.

국제적 공조 체계를 구축하는 데는 수십 년이 소요될 것으로 본다. 그렇기 때문에 위험한 AI가 수십 년 뒤에 등장한다고 할지라도 이는 이미 시급한 문제다. 하지만 많은 사람은 이 점을 이해하지 못한다. “정말 위험한 시스템이 나타나면 그때 규제하면 된다”는 식의 주장은 너무 안일한 생각이다.

AI 안전을 강조하는 사람들은 여전히 시민사회보다는 권력층과 비공개적으로 협력하는 경향이 있는 듯 보인다. 이런 폐쇄성은 이들의 이야기가 모두 거짓이거나 내부 로비에 불과하다는 비판에 빌미를 제공한다. 그런 지적들이 완전히 틀린 것은 아닐지라도, 그로 인해 본질적 위험이 사라지는 것은 아니다. 효과적인 대응을 위해서는 더 넓은 대중적 이해와 지지가 필요하다.

만약 앞으로 10년 안에 인류가 멸망할 확률이 10%라고 실제로 믿는다면, 그리고 이 문제를 진지하게 고민해 본 합리적인 사람이라면, 가장 먼저 “우리는 왜 이런 일을 계속하고 있는가? 이건 말도 안 되는 짓이다”와 같은 반응을 보일 것이다. 전제가 타당하다고 생각한다면 이는 지극히 자연스러운 반응이다.

AI 안전의 신뢰성을 우려하는 거버넌스 전문가

헬렌 토너: 조지타운 대학교 안보 및 신흥기술센터(CSET) 총괄책임 대행, 전(前) OpenAI 이사회 구성원

내가 이 분야에 처음 발을 들였을 때, AI 안전은 주로 철학적 논의에 가까웠다. 하지만 현재 AI 안전은 머신러닝의 여러 하위 영역을 아우르는 실제 연구 분야로 성장해 AI의 전략적 행동, 기만, 권력 추구 가능성과 같은 다소 ‘과격한’ 우려와 실제로 시험하고 다룰 수 있는 구체적인 시스템 사이의 간극을 메워 가고 있다.

“나는 일부 AI 안전 연구자들이 제시한 지나치게 이른 AGI 등장 시점이 그들을 양치기 소년으로 몰고 가지 않을까 우려한다”

AI 거버넌스는 더디지만 분명히 개선되고 있다. 적응할 시간이 충분하고 거버넌스가 현재의 속도로 계속 발전할 수 있다면 크게 비관할 필요는 없다고 본다. 하지만 시간이 많지 않다면 지금보다 훨씬 빠르게 움직여야 할 것이다.

워싱턴 DC에서는 GPT-5에 대한 부정적인 시각이 우세하다. 논의는 “몇 년 안에 AGI와 초지능이 등장한다”는 주장과 “AI는 결국 과장되고 쓸모없는 거품일 뿐”이라는 주장 사이에서 극단적으로 양분되어 있다. 한동안 논의의 추는 “초강력 시스템이 곧 등장한다”는 쪽으로 크게 기울었지만, 지금은 반대로 “모두 과장된 것일 뿐”이라는 시각으로 되돌아가는 분위기다.

나는 일부 AI 안전 연구자들이 제시한 지나치게 이른 AGI 등장 시점이 그들을 양치기 소년으로 몰고 가지 않을까 우려한다. 2027년에 AGI가 등장할 것이라는 예측이 빗나가면 사람들은 “이 사람들의 주장은 틀렸다. 다시는 이들의 말을 들을 이유가 없다”고 말할 것이다. 그러나 이는 지적으로 바람직한 태도가 아니다. 시간이 지나면서 생각이 바뀔 수도 있고, 처음부터 가능성을 20% 정도로만 보면서도 충분히 주의할 가치가 있다고 판단했을 수도 있기 때문이다. 따라서 예측이 빗나갔다고 해서 이후의 주장까지 모두 배척해서는 안 된다고 본다. 그럼에도 이런 상황이 AI 안전 연구자들의 신뢰성에 큰 타격을 줄 수 있다는 점은 우려된다. 그리고 그 여파는 위험이 임박했다고 주장한 적이 없는, AI 안전을 진지하게 고민해 온 다른 사람들에게까지 영향을 미치고 있다.

AGI의 도래가 예상보다 늦어질 것으로 예측하며 안도하는 AI 보안 연구자

제프리 래디시: AI 시스템의 위험성 및 보안을 연구하는 비영리단체 팰리세이드 리서치(Palisade Research) 사무총장

지난 1년 동안 나는 두 가지 주요 이유로 AGI 도달 시점에 대한 예측을 재조정하게 되었다.

첫째, 양질의 데이터 부족 현상이 예상보다 훨씬 더 심각한 문제로 밝혀졌다.

둘째, 2024년 9월 공개된 최초의 ‘추론(reasoning)’ 모델인 오픈AI의 o1은 강화학습 기반 모델 확장이 예상보다 훨씬 효과적이라는 사실을 보여주었다. 이후 몇 달 사이에 o1에서 o3로 이어진 확장 과정을 통해 수학, 코딩, 과학처럼 결과를 비교적 명확하게 검증할 수 있는 영역에서 매우 인상적인 성능 향상이 관찰됐다. 물론 진전은 계속되고 있지만, 기대했던 것만큼 빠르게 진행되고 있는 것은 아니다.

이러한 변화로 인해 완전히 자동화된 AI 연구·개발이 본격적으로 시작될 시점에 대한 나의 중간 추정치는 기존 3년에서 약 5~6년으로 늘어났다. 물론 이런 수치는 어디까지나 임의적이다. 이 분야는 예측하기가 극도로 어렵기 때문이다.

시간이 더 생겼다는 점은 다행이다. 우리가 충분히 이해하기 전에 이 시스템들이 통제 불가능한 수준으로 유능하고 전략적으로 발전할 가능성도 있다. 지금은 그 위험을 제대로 파악할 수 있는 매우 짧은 시기 중 일부일지 모른다.

한편 우려되는 점은 AI 발전이 멈췄다고 믿는 사람들이 늘고 있다는 것이다. 이는 사실이 아니다. 나는 모델을 실제로 사용하기 때문에 확실히 말할 수 있다. AI 발전의 아이러니 중 하나는 그 속도가 너무 빨라져 일반 대중이 이를 체감하기가 점점 더 어려워지고 있다는 것이다.

물론 분야에 따라 예외는 있다. 예를 들어 소라 2(Sora 2)를 보면, 이전 모델보다 얼마나 크게 향상되었는지 누구나 즉시 알아차릴 수 있다. 하지만 GPT-4와 GPT-5에게 하늘이 파란 이유를 물어보면 두 모델은 거의 동일한 답을 내놓는다. 물론 그 답은 정확하다. 이 질문에 대해서는 이미 더 나아질 여지가 거의 없는 포화 상태에 도달했기 때문이다. 결국 현재 시점에서 AI의 발전 속도를 가장 정확히 체감할 수 있는 사람들은 실제로 AI를 활용해 무언가를 만들고 있거나, 난이도가 매우 높은 과학 문제 해결에 AI를 적용하고 있는 사람들일 가능성이 크다.

비판이 뒤따를 것을 내다본 AGI 예측가

다니엘 코코타일로(Daniel Kokotajlo): AI의 미래를 연구하는 비영리단체 AI 퓨처스 프로젝트(AI Futures Project) 전무이사, 오픈AI 내부 고발자, AI가 2027년을 기점으로 ‘초인적 코더(superhuman coders)’에서 몇 달 만에 ‘통제 불가능한 초지능(wildly superintelligent)’으로 발전하는 시나리오를 생생하게 제시한 보고서 <AI 2027>의 주저자

AI 정책은 오히려 퇴보하고 있는 듯하다. ‘친(親) AI’ 슈퍼팩(super PAC, 정치자금 모금단체)[올해 초 오픈AI와 앤드리슨 호로위츠(Andreessen Horowitz)의 경영진이 규제 완화를 목표로 출범]이나 시리람 크리슈난과 데이비드 색스가 올린 비이성적이거나 부정직한 트윗들을 보면 그런 생각이 더 확실해진다. AI 안전 연구는 대부분의 학문 분야와 비교하면 매우 빠른 속도로 진전되고 있지만, 필요한 속도에는 여전히 미치지 못한다.

우리는 <AI 2027> 보고서의 첫 페이지에서 AGI의 예상 개발 시점이 2027년보다는 다소 늦을 것이라고 명시했다. 따라서 이 보고서를 발표할 당시에도, 2028년이 되면 색스와 크리슈난의 트윗처럼 우리의 예측이 틀렸다며 의기양양하게 비판하는 이들이 등장할 것이라고 예상했다. 그럼에도 불구하고 우리는 여전히 향후 5~10년 사이에 지능 폭발이 일어날 가능성이 높다고 믿고 있다. 그리고 그 순간이 오면, 사람들은 2025년에 존재했던 어떤 시나리오보다 우리의 시나리오가 현실에 가까웠다는 사실을 깨닫게 될 것이다.

미래 예측은 어렵지만, 시도할 가치가 있는 일이다. 중요한 것은 미래에 대한 불확실성을 구체적이고 검증 가능한 방식으로 알리는 것이다. 우리는 이를 꾸준히 실천해 왔지만, 그렇게 하는 사람은 많지 않다. 반면 비판하는 사람들 대부분은 자기 예측은 내놓지 않으면서, 우리의 관점을 과장하거나 왜곡한다. 그들은 우리가 AGI의 도래 시점을 실제보다 훨씬 앞당겨 예측했다고 몰아가거나, 우리가 지나치게 확신에 차 있다고 주장한다.

AGI의 도래 시점이 늦춰졌다는 사실 자체에는 개인적으로 안도감을 느낀다. 마치 의사로부터 예후가 좋아졌다는 말을 들은 듯한 기분이다. 그렇지만 상황의 본질이 달라진 것은 아니다.

이 글을 쓴 개리슨 러블리(Garrison Lovely)는 기계 초지능 개발 경쟁을 둘러싼 담론, 경제 및 지정학을 다루는 온라인 출판물 <옵솔리트(Obsolete)>의 저자이자, (2026년 출간 예정인) 동명의 저서를 집필 중인 프리랜서 저널리스트다. 그의 AI 관련 글은 뉴욕타임스, 네이처, 블룸버그, 타임, 가디언, 더버지 등 여러 주요 매체에 실렸다.

The post AI가 인류를 위협할 거란 비관론자들의 믿음은 여전히 유효할까? appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.