AI로 인간의 마음을 해독하려는 과학자들

마음을 이해하기는 어렵다. 인공지능을 이해하는 것도 마찬가지다.

요즘 인공지능(AI)은 인간의 뇌와 인공 신경망이 얼마나 다른지를 보여주며 발전하고 있다. 예를 들어 아기는 하루 1,000칼로리를 먹고 어른들의 일상적인 대화를 접하기만 해도 자연스럽게 소통하는 법을 배운다. 반면 기술 기업들은 대형언어모델(LLM)을 훈련하고 사용하기 위해 닫혀 있던 원자력 발전소를 재가동하고, 소외된 지역을 오염시키며, 수 테라바이트에 달하는 저작물을 무단으로 긁어모은다.

하지만 신경망은 이름 그대로 애초에 인간의 뇌에서 영감을 받아 만들어졌다. 요구되는 에너지와 데이터의 양은 현저히 다르지만, LLM과 인간의 뇌는 상당히 많이 닮았다. 이 둘은 수백만 개의 하위 구성 요소로 이루어져 있다. 뇌는 생물학적 뉴런으로, 신경망은 시뮬레이션 된 ‘뉴런’으로 구성된다. 둘 모두는 지구상에서 유창하고 유연하게 언어를 만들어낼 수 있는 유일한 존재다. 그런데도 과학자들은 이 둘 중 무엇 하나 제대로 이해하지 못하고 있다.

필자는 대학원에서 6년간 신경과학을 공부한 뒤 저널리즘과 AI 분야로 옮겨오면서 이러한 유사성을 직접 체감했다. 신경과학자들 사이에서는 뇌와 유사한 방식으로 작동하는 신경망을 구축하는 것이 이 분야에서 가장 유망한 접근법이라는 견해가 널리 퍼져 있다. 이러한 시각은 심리학 분야로도 점점 확산하고 있다. 최근 권위 있는 학술지 <네이처(Nature)>에는 인간과 동물을 대상으로 한 심리 실험에서 신경망을 활용해 행동을 예측한 두 편의 연구가 실렸다. 두 연구 모두 이처럼 훈련된 신경망이 인간 정신을 깊이 이해하는 데 도움을 줄 수 있다고 제안했다. 하지만 행동을 예측하는 것과 그 행동이 어떻게 나타났는지 설명하는 일은 전혀 다른 문제다. 

이 연구 중 하나에서는 LLM을 이른바 ‘인간 인지의 기반 모델(foundation model of human cognition)’로 변형했다. 본래 LLM은 별도 조정을 하지 않으면 인간의 행동을 그럴듯하게 흉내 내지 못한다. 예컨대 인간은 카지노처럼 이성을 잃기 쉬운 상황에서 감정적으로 반응하지만, 언어모델은 여전히 논리적으로 행동한다. 이에 연구진은 메타의 오픈소스 LLM인 라마 3.1(Llama 3.1)을 총 160개의 심리학 실험 데이터를 바탕으로 인간 심리에 더 가깝도록 정밀하게 조정했다. 여기에는 최대의 보상을 얻기 위해 여러 세트의 슬롯머신 중 하나를 선택하는 과제, 문자 순서를 기억하는 과제 등이 포함됐다. 이렇게 만들어진 모델은 ‘센타우르(Centaur)’라는 이름이 붙었다.

기존 심리학 모델이 이론적 가설을 바탕으로 단순한 수학 방정식을 사용하는 데 비해, 통계 기반의 LLM을 활용한 센타우르는 인간 행동을 훨씬 더 정확하게 예측해냈다. 심리 실험에서는 이처럼 인간의 반응을 정밀히 예측하는 것 자체만으로도 큰 의미가 있다. 예를 들어 연구자들은 실험 참가자를 실제로 모집하고 비용을 들이기 전에 먼저 센타우르를 활용해 시범 실험을 해볼 수 있다. 하지만 연구진의 주장은 이뿐만이 아니다. 그들은 센타우르가 단순한 예측 기계를 넘어 인간 행동을 재현하는 하나의 연구 대상이 될 수 있다고 본다. 센타우르 내부의 메커니즘을 분석함으로써 마음이 어떻게 작동하는지를 설명하는 새로운 이론을 세울 수 있다는 것이다.

하지만 일부 심리학자들은 센타우르가 인간의 마음에 대해 깊은 통찰을 줄 수 있을 것이라는 주장에 회의적이다. 물론 센타우르가 인간 행동을 예측하는 데 있어 기존 심리학 모델보다 뛰어난 것은 사실이다. 그러나 그만큼 센타우르는 기존 모델보다 무려 10억 배 많은 파라미터를 갖고 있다. 그리고 겉보기에는 인간처럼 행동하더라도 그 내부가 실제 인간처럼 작동한다고는 볼 수 없다. 네덜란드 라드바우드 대학교의 올리비아 게스트(Olivia Guest) 계산인지과학과 조교수는 센타우르를 계산기에 비유했다. 계산기는 두 수를 더하는 문제에 대해 수학 천재가 낼 법한 정답을 정확히 예측할 수 있다. 하지만 그녀는 “계산기를 연구한다고 해서 인간이 덧셈을 어떻게 하는지 알 수 있을 것 같지 않다”고 말했다.

설령 센타우르가 인간 심리에 관한 중요한 본질을 어느 정도 포착했다고 하더라도, 과학자들이 그 안에 있는 수백만 개의 인공 뉴런에서 유의미한 통찰을 끌어내기는 쉽지 않다. AI 연구자들은 LLM의 작동 원리를 밝히기 위해 끊임없이 연구하고 있지만, 지금까지 알려진 건 그 ‘블랙박스’를 간신히 들여다본 정도에 불과하다. 인간 정신을 모사한 거대한 신경망 모델을 이해하는 일이 정작 그 원형인 인간 자체를 이해하는 것보다 훨씬 쉬울 것이라고 기대하기는 어렵다.

이에 대한 한 가지 대안은 ‘작은 것에서 시작하는 것’이다. <네이처>에 실린 또 다른 연구는 극도로 작은 신경망에 주목한다. 어떤 네트워크는 단 하나의 뉴런만으로 구성되어 있음에도 쥐, 흰쥐, 원숭이, 심지어 인간의 행동까지 예측해 냈다. 이 경우 신경망 전체 규모가 매우 작기 때문에 각 뉴런의 활동을 개별적으로 추적하고 그 데이터를 활용해 신경망이 어떻게 행동 예측을 생성하는지 분석하는 것이 가능하다. 물론 이 모델들이 실제 뇌처럼 작동한다고 보장할 수는 없다. 하지만 적어도 인간과 동물의 인지를 설명하는 검증 가능한 가설을 만들어낼 수 있다는 점에서 의미 있는 접근이다.

문제를 단순화해 얻는 이점이 있지만 그만큼 대가도 따른다. 수십 가지 과제에서 인간 행동을 모방하도록 훈련된 센타우르와 달리, 이 작은 네트워크 각각은 각기 단 하나의 특정 과제에서만 행동을 예측할 수 있다. 예를 들어 어떤 신경망은 사람들이 여러 슬롯머신 중에서 무엇을 고를지 예측하는 데 특화되어 있다. 이 작은 신경망 연구를 이끌고 센타우르 프로젝트에도 참여한 뉴욕대학교의 마르셀로 마타르(Marcelo Mattar) 심리학 및 신경과학 조교수는 “행동이 정말 복잡하다면 그 행동을 만들어내기 위해서는 큰 신경망이 필요하다. 문제는 일단 그런 네트워크를 이해하는 일이 정말 무척이나 어렵다는 것이다”라고 말했다.

예측과 이해 사이의 이러한 절충은 신경망 기반 과학의 핵심적인 특징이다. 사실 필자도 이 주제를 다룬 책을 집필하고 있다. 마타르의 연구처럼 이 간극을 좁히려는 시도들이 점차 성과를 내고 있다. 그가 만든 신경망은 매우 작지만, 전통적인 심리학 모델보다 더 정확하게 행동을 예측할 수 있다. 오늘날 앤트로픽과 같은 곳에서 진행 중인 LLM의 해석 가능성에 관한 연구도 마찬가지다. 하지만 현재로서는 인간, 기후 시스템, 단백질처럼 우리가 복잡한 대상에 대한 예측하는 능력은 점점 정교해지고 있는 반면, 이것들이 실제로 작동하는 방법에 대한 이해는 크게 뒤처져 있다.

The post AI로 인간의 마음을 해독하려는 과학자들 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.