# (번역) 문장에서 의미는 어디에 있을까요? 수학이 알려줄 수 있습니다.

수학자 타이 다나에 브래들리는 범주 이론을 사용하여 인간과 AI가 생성한 언어를 모두 이해하려고 노력하고 있습니다.



![](https://www.quantamagazine.org/wp-content/uploads/2025/04/Tai_Danei_Bradley-cr.MonicaAlmeida-Lede-scaled.webp)

_퀀타 매거진_의 모니카 알메이다

## 소개

[![](https://www.quantamagazine.org/wp-content/uploads/2025/04/JosephHowlett.png)
조셉 하울렛 _스태프 작가_](https://www.quantamagazine.org/authors/josephhowlett/)

* * *

2025년 4월 9일

* * *

[타이 다나에 브래들리](https://www.math3ma.com/about)는 어릴 적부터 수학을 좋아하지 않았습니다. 2008년, 농구팀에서 뛰던 뉴욕시립대에 입학한 그녀는 스포츠 영양학 분야에서 커리어를 시작하고 싶었습니다. 그녀는 수학 과목이 천재들만 잘할 수 있는 교과 과정이라고 생각했습니다. "차라리 이걸로 생계를 유지하느니 차라리 이를 모두 뽑는 게 낫겠다고 생각했어요."라고 그녀는 말했습니다.

하지만 2학년 때 미적분학 교수가 그녀의 마음을 바꿨습니다. 수학은 모든 과학이 쓰여진 언어라는 것을 알게 된 것이죠. "교과서에 나오는 것보다 더 깊은 것이 있다는 것을 알게 되었습니다."라고 그녀는 말했습니다. "우리가 살고 있는 세상은 정말 멋진 세상이고, 수학은 그 일부를 볼 수 있는 방법입니다."

그녀는 농구팀을 그만두고 수학과 물리학을 복수 전공하기로 결정했습니다. 현재 인공 지능 회사 샌드박스에이큐의 연구원이자 캘리포니아 석사 대학의 객원 교수인 브래들리는 수학의 언어를 사용하여 언어 자체를 더 잘 이해하려고 노력하고 있습니다.

그녀의 렌즈는 범주 이론으로, 개별 분야의 세부 사항에서 한 걸음 물러나 모든 분야를 연결하는 더 넓은 기본 프레임워크로 접근하는 방식입니다. 언어를 수학적 범주로 생각함으로써 그녀는 언어를 연구하고 새로운 통찰력을 얻기 위해 기존의 도구를 적용할 수 있었습니다.

언어학자들은 브래들리의 모델이 단어의 문자열에서 문법과 의미가 어떻게 나타나는지에 대한 특정 이론을 증명하고 AI가 생성한 텍스트가 인간의 언어와 어떻게 다른지 파악하는 데 도움이 될 수 있기를 바랍니다. 브래들리 자신은 이러한 방식으로 언어를 연구함으로써 새로운 수학적 도구를 개발할 수 있는 방법에 더 관심이 많습니다.

quanta_는 브래들리와 수학이 언어 연구에 어떻게 영향을 미칠 수 있는지, 그리고 그 반대의 경우도 마찬가지인지에 대해 이야기를 나눴습니다. 인터뷰는 명확성을 위해 압축 및 편집되었습니다.

## 이 연구를 시작하게 된 계기는 무엇인가요?

이해에 관심이 많았어요: 언어의 수학적 구조는 무엇인가요? 기본 단위는 무엇인가요? 단어와 구문 사이의 수학적 관계가 어떻게 의미 있는 콘텐츠로 이어지는가?

![수학 표기법으로 가득 찬 칠판 옆에 서 있는 여성](https://www.quantamagazine.org/wp-content/uploads/2025/04/Tai_Danei_Bradley-cr.MonicaAlmeida-Blackboard-scaled.webp)

타이 다나에 브래들리는 어렸을 때 수학을 싫어했습니다. 하지만 학부생이 되면서 수학이 우리 주변 세계와 얼마나 밀접하게 연결되어 있는지 깨닫기 시작했습니다.

언어를 수학적으로 공부하는 방법에는 여러 가지가 있습니다. 예를 들어 언어는 대수적 구조를 가지고 있다고 생각할 수 있습니다. 두 개의 숫자를 곱하면 또 다른 숫자를 얻을 수 있죠. 같은 방식으로 영어로 된 두 구문을 '곱하기' 또는 결합하여 또 다른 구문을 얻을 수 있습니다.

언어를 범주 이론의 관점에서 생각할 수도 있습니다.

## 범주 이론이란 무엇인가요?

범주는 몇 가지 객체와 이들 간의 관계, 즉 형태론으로 구성됩니다. 객체는 집합, 그룹 또는 벡터 공간일 수 있습니다. 형태론은 한 객체를 다른 객체와 연관시킵니다. 객체가 집합이라고 가정해 봅시다. 그러면 모피즘은 한 집합을 다른 집합에 매핑하는 함수입니다.

저는 범주 이론을 수학의 매드 리브라고 생각하고 싶습니다. 매드 리브에서는 하나의 이야기가 있지만, 채우는 단어에 따라 다양한 버전의 이야기가 나옵니다. 수학적 환경 전반에 걸쳐 공유되는 특정 이야기나 구조가 있다는 것이 밝혀졌습니다. 수학의 여러 분야에서는 '벡터 공간' 대신 '그룹'과 같이 서로 다른 단어를 사용하지만, 단어를 올바른 방식으로 바꾸면 기본 틀이나 스토리가 실제로는 동일하다는 것을 알 수 있습니다.

대학원에서 처음 카테고리 이론을 배웠을 때는 정말 최악이라고 생각했습니다. 이래서 사람들이 수학을 싫어하는구나, 라고 생각했던 기억이 납니다. 직관에 근거하지 않고 추상화를 위한 추상화일 뿐이죠. 정말 답답했죠. 나중에야 제 박사 지도교수인 [John Terilla(새 탭에서 열기)](https://jterilla.github.io/)의 도움을 받아 도구 범주 이론이 얼마나 강력한 힘을 발휘할 수 있는지 알게 되었습니다.

## 왜 그렇게 강력한가요?

땅에서 발을 떼고 수학적 지형을 한눈에 볼 수 있게 해주므로 지상에서는 감지할 수 없는 연결성을 볼 수 있습니다. 이제는 제가 가장 즐겁게 생각하는 것 중 하나가 되었지만, 수학적 맥락과 성숙함이 더 필요했을 뿐입니다.

![수학적 도표가 그려진 노트 용지 세 장](https://www.quantamagazine.org/wp-content/uploads/2025/04/Tai_Danei_Bradley-cr.MonicaAlmeida-Triptych.webp)

브래들리는 주변에서 범주 이론이 작동하는 것을 봅니다. 그녀는 특히 언어를 이해하는 데 카테고리 이론을 사용하는 데 관심이 많습니다.


## 범주 이론을 통해 다른 방법으로는 볼 수 없는 것을 볼 수 있는 것은 무엇인가요?

수학에서 정말 의미 있는 질문은 다음과 같습니다: 두 사물은 언제 같은가? "같다"는 것은 무엇을 의미하며, 말하는 수학의 종류에 따라 어떻게 달라질까요?

예를 들어 세트는 구슬이 들어 있는 가방과 비슷합니다: 실제 구조가 없습니다. 따라서 요소 수가 같으면 두 집합이 같다고 말합니다. 반면에 그룹은 요소들이 특정 규칙을 통해 상호 작용하는 집합입니다. 이제 동일성의 개념은 이러한 추가적인 구조를 고려해야 합니다.

범주 이론은 이러한 서로 다른 동일성 개념을 설명하기 위한 공통 템플릿을 제공합니다. 그런 다음 이 템플릿을 사용하여 문제를 해결할 때 이러한 다양한 컨텍스트 사이를 이동할 수 있습니다.

## 이에 대한 예를 들어주시겠어요?

제가 가장 좋아하는 예 중 하나는 위상학의 세계입니다. 위상 공간이라고 하는 도형은 하나의 범주를 형성합니다. 하나의 공간을 다른 공간으로 늘릴 수 있는데, 이 스트레칭이 바로 서로를 연관시키는 형태입니다.

두 개의 위상공간이 있는데 두 위상공간이 같은지 알고 싶다고 가정해 봅시다. 동일하다면 한 공간을 다른 공간으로 늘릴 때 구멍의 수는 변하지 않습니다. 이러한 공간을 직접 다루는 것은 매우 까다로울 수 있으므로 이를 파악하기가 정말 어려울 수 있습니다.

하지만 구멍의 수는 항상 완전히 다른 범주에서 나온 숫자와 동일합니다.

![야외 테이블에 앉아 있는 파란색 스웨터를 입은 여성](https://www.quantamagazine.org/wp-content/uploads/2025/04/Tai_Danei_Bradley-cr.MonicaAlmeida-Sitting-outside.webp)

"브래들리는 "언어를 공부하면 우리가 아직 발견하지 못한 새로운 수학적 구조를 발견하는 데 도움이 될 것"이라고 말했습니다

모니카 알메이다 _Quanta Magazine_의 모니카 알메이다

범주 이론을 사용하면 위상 공간의 범주에서 다른 범주로 이동할 수 있습니다.  예를 들어, 두 위상 공간을 벡터 공간으로 변환하기 위해 함수라는 것을 사용할 수 있습니다. 그런 다음 벡터 공간의 차원이 다르다는 것을 알게 되면(측정하기가 훨씬 쉬워집니다) 두 공간이 같을 수 없다는 것을 알 수 있습니다. 범주 이론을 사용해 위상수학과 선형대수학의 영역을 넘나들며 이 사실을 알아낸 것입니다.

## 그렇다면 언어를 이해하기 위해 범주 이론을 어떻게 사용할 수 있을까요?

언어와 범주 이론은 밀접한 관련이 있습니다. 우리는 언어에 어떤 특정한 엄격한 수학적 모델을 강요하고 싶지 않습니다. "고양이"라는 단어가 다른 특정 단어 옆에 몇 번이나 나타나는지와 같은 단순한 빈도부터 시작할 수 있습니다. "호기심이 \_\_\_\_를 죽였다"라고 하면 다음 단어가 "헬리콥터"가 아닌 "고양이"가 될 확률을 계산할 수 있습니다

그러면 가능한 모든 단어나 구(또는 실제로는 문자의 조합)를 강화된 범주라고 하는 보다 일반적인 종류의 범주에 속하는 객체라고 생각할 수 있습니다. 그리고 모든 객체는 다른 모든 객체가 뒤따를 확률에 따라 연관되어 있는데, 이것이 바로 형태소의 강화된 버전입니다. 단어와 단어 사이에 각각 숫자가 표시된 화살표가 있다고 생각하면 됩니다.

## 언어를 이렇게 카테고리로 분류하는 것이 왜 도움이 될까요?

무언가를 좋아하면 모든 곳에서 그것을 보기 시작합니다. 범주 이론은 매우 추상적이고 수학 전반의 아이디어를 연결하기 때문에 수학자에게 익숙한 많은 것들을 범주 이론으로 다시 표현할 수 있습니다.

하지만 범주 이론은 그보다 더 깊습니다. 언어를 하나의 범주로 생각하면 사람들이 수십 년 동안 발전시켜온 구조에 접근할 수 있습니다. 따라서 이 레시피 북을 훑어보고 인간 언어를 연구하거나 대규모 언어 모델에서 무슨 일이 일어나고 있는지 이해하는 데 도움이 될 수 있는 몇 가지를 찾을 수 있습니다.

## 새로운 것을 이해하기 위해 이 레시피 중 하나를 어떻게 사용하셨나요?

사람들이 궁금해하는 것 중 하나는 단어가 어떻게 결합되는지에 대한 기본적인 정보부터 시작해서 어떻게 하면 더 추상적인 개념을 얻을 수 있는지입니다. 가정에서 키우는 애완 동물인 파충류 다섯 마리를 나열해 달라고 ChatGPT에 요청하면 어떻게 이 두 가지를 결합하는 방법을 알 수 있을까요? 기호의 문자열과 그 통계에서 이러한 종류의 논리적 관계로 어떻게 이동할 수 있을까요?

이에 대한 잠재적인 통찰력을 제공하는 방법 중 하나를 사용할 수 있습니다. 먼저, 모든 단어에 해당 단어가 나타날 수 있는 모든 구문과 그 구문이 얼마나 흔한지를 포착하는 범주 이론적 구조를 연관시킵니다. 그런 다음 두 개의 서로 다른 단어에 연결된 구조를 가지고 범주 이론에서 매우 고전적인 연산을 수행할 수 있습니다.

![테이블에 앉아 iPad를 바라보는 여성](https://www.quantamagazine.org/wp-content/uploads/2025/04/Tai_Danei_Bradley-cr.MonicaAlmeida-Sitting-laptop-scaled.webp)

다른 사람들이 수학을 더 쉽게 접할 수 있도록 하기 위해 Bradley는 Math3ma라는 인기 블로그를 운영하고 있습니다.

우리가 얻은 것은 두 개의 원래 단어를 자동으로 연관시키는 구조입니다. 원래 단어가 "큰"과 "노란색"이었다면, 대략적으로 말하면 "큰 노란색 태양"과 같은 확률 구문에는 큰 숫자를, "큰 노란색 루비"와 같은 구문에는 작은 숫자를 할당하는 결과를 얻을 수 있습니다 범주 이론의 이 간단한 연산은 실제로 언어적으로 의미 있는 것, 즉 크고 노란색인 사물의 개념과 같은 보다 일반적인 개념을 구축하기 위해 단어를 결합하는 방법을 제공합니다.

따라서 범주 이론을 사용하면 아주 단순한 통계 정보에서 어떻게 더 높은 수준의 개념이 잠재적으로 나올 수 있는지 수학적으로 보여줄 수 있습니다. 저는 이것이 아이디어가 형성되는 방식일지도 모른다는 단서라고 생각합니다. 인간의 뇌가 어떻게 작동하는지는 아무도 모르기 때문에 '머릿속에서 형성된다'고 말하고 싶지 않습니다. 하지만 언어가 어떻게 사용되는지에 대한 원시 데이터에는 이러한 개념적 내용이 있습니다. 왜냐하면 우리가 시작한 것은 이러한 주파수뿐이기 때문입니다.

## LLM이 하는 일이 바로 이런 일이라고 생각하시나요?

저는 LLM이 합류하기 전에 이 연구 프로젝트에 참여했습니다. 하지만 그들도 우리와 같은 주파수에서 시작했죠. 변압기 내부에서 실제로 무슨 일이 일어나는지 모르겠어요. 아무도 모를 거예요. 하지만 대화를 시작하기 위한 단초가 될 수 있을 것 같습니다.

## 언어에 대해 더 일반적으로 어떤 의미를 담고 있나요?

무엇이 무엇과 어울리는지 같은 기본적인 구문에도 의미 있는 정보가 있다는 것을 보여준다고 생각합니다. '파란 대리석'이나 '파란 하늘'처럼 '파란' 뒤에 오는 단어가 '파란 아보카도'가 아닌 '파란' 뒤에 오는 경향이 있는 단어를 보면 '파란'이라는 단어의 의미를 알 수 있을까요?

언어학계에서는 합의된 사실이 아닙니다. 인간으로서 저는 페이지에 있는 문장에서 의미를 파악할 수 있지만, 종이에 적힌 단어가 제가 접할 수 있는 전부는 아닙니다. 저는 세상을 접할 수 있습니다. 언어학자들은 문자언어에서 의미를 추출하기 위해 세계 모델이 필요한지에 대해 논쟁을 벌여왔습니다. 단어의 배열에 의미가 있다는 생각은 언어학에서 오래된 것이지만, 최근 수십 년 동안 크게 유행하지 않았습니다.

![미소 짓는 여자](https://www.quantamagazine.org/wp-content/uploads/2025/04/Tai_Danei_Bradley-cr.MonicaAlmeida-CloseUp.webp)

브래들리는 자신의 연구가 "무엇이 무엇과 어울리는지 같은 기본적인 구문에도 의미 있는 정보가 있다는 것을 보여준다"고 말합니다.

하지만 이 연구와 최근의 LLM의 성공은 단어가 함께 사용되는 방식에 대한 통계에도 의미가 있다는 생각을 뒷받침합니다. 따라서 언어학자들이 하고 있는 이 더 큰 대화에 기여할 수 있을 것입니다.

## 가장 최근 논문에서도 범주 이론을 사용하여 완전히 새로운 개념을 언어 연구에 도입하셨습니다.

맞아요. 저희는 위상학과 관련된 일종의 크기 척도이자 범주를 특징짓는 범주의 크기를 연구하고 있었습니다. 제 공동 저자인 [Juan Pablo Vigneaux(새 탭에서 열기)](https://jpvigneaux.github.io/)가 최근에 크기를 계산하는 새로운 방법을 알아냈습니다. 그래서 몇 가지 추가 작업을 거쳐 언어에 의해 형성된 카테고리에 적용하기로 결정했습니다.

놀랍게도 이 범주에 대해 규모에 대한 공식이 어떤 모습일지 생각해 보니 정보 이론에서 발견되는 중심 수량이 포함된 수학적 표현이 나왔습니다. 엔트로피 - 무언가가 얼마나 많은 정보를 담고 있는지를 측정하는 척도입니다.

## 이 연결은 무엇을 알려줄까요?

엔트로피와 토폴로지 사이의 흥미로운 연관성을 가리킵니다. 엔트로피와 위상학은 서로 전혀 다른 과학적 영역에 속하기 때문에 일반적으로는 서로 이야기하지 않습니다. 하지만 최근 몇 년 동안 이러한 연결이 나타나기 시작했고, 이번 사례도 그 예가 될 수 있습니다. 저는 서로 다르게 느껴지는 것들이 근본적으로 관련되어 있는 것으로 밝혀지는 이 현상에 매우 흥미를 느낍니다.

  

"우와, 이게 뭐지?" 하는 의문이 들기도 합니다 언어의 맥락에서 엔트로피는 무엇을 의미할까요? 우리에게 무엇을 알려줄 수 있을까요? 예를 들어, 서로 다른 언어의 구조를 비교하거나 인간의 언어와 LLM에서 생성된 언어를 비교하는 방법으로 계산 크기를 사용할 수 있을까요?

이것은 매우 높은 사다리의 첫 번째 사다리에 불과한 느낌입니다. 앞으로 할 일이 훨씬 더 많습니다.

## 앞으로의 목표는 무엇인가요?

수학 자체를 더 깊이 이해할 수 있기를 바랍니다.

수학은 언어 현상에 대해 가르쳐주어 우리 주변의 세상을 더 잘 이해할 수 있게 해줄 수 있습니다. 하지만 정말 멋진 것은 수학적 아이디어가 빠져 있어서 이 현상이 신비롭고 이해하기 어려운 것일 수도 있다는 것입니다.

이런 식으로 언어를 공부하면 우리가 아직 발견하지 못한 새로운 수학적 구조를 발견하는 데 도움이 될 수도 있습니다. 이것은 수학에서 항상 일어나는 일입니다. 수학자들은 아직 이름도 없는 것들, 이미 존재하는 구조를 발견하곤 하죠.

5년 후에는 언어에서 영감을 얻은 새로운 수학적 아이디어가 나올 수도 있습니다.