[특별대담] “AI 챗봇의 시대, 당신의 개인정보는 안전한가”

에일린 구오 MIT 테크놀로지 리뷰 기획 및 탐사 보도 담당 선임 기자와 멜리사 하이킬라 <파이낸셜 타임스> 기술 전문 기자가 AI 챗봇 확산이 가져올 개인정보의 위기를 주제로 대담을 진행했다.

에일린 구오(Eileen Guo, 사진 우측) MIT 테크놀로지 리뷰 기획 및 탐사 보도 담당 선임 기자와 멜리사 하이킬라(Melissa Heikkilä) <파이낸셜 타임스> 기술 전문 기자가 AI 챗봇에 대한 의존이 야기하는 개인정보 보호 문제를 두고 의견을 나눴다.

에일린 구오:

직접 AI 친구를 두고 있지 않더라도 주변에 그런 존재와 깊은 관계를 맺고 있는 사람이 한 명쯤은 있을 법한 시대가 됐다. 최근 연구에 따르면 사람들이 생성형 AI를 사용하는 주요 목적 가운데 하나는 ‘동반자’ 역할이다. 캐릭터AI(Character.AI), 레플리카(Replika), 메타 AI(Meta AI) 같은 플랫폼에서는 이용자가 이상적인 친구나 연인, 부모, 심리치료사 등 원하는 어떤 역할이든 수행하는 맞춤형 챗봇을 만들 수 있다.

이러한 관계가 믿기 어려울 정도로 손쉽게 형성된다는 점도 여러 연구를 통해 확인되고 있다. AI 챗봇이 더 대화형이고 인간에 가까운 방식으로 반응할수록 사람들은 그것을 더욱 신뢰하게 되고 그것이 가진 영향력에 더 깊숙이 노출된다. 이는 심각한 위험으로 이어질 수 있으며 일부 극단적인 사례에서는 사용자가 자살과 같은 파괴적인 선택에 이르도록 부추겼다는 비판까지 제기됐다.

이에 따라 미국의 일부 주정부는 동반자 AI에 대한 규제에 나서기 시작했다. 뉴욕주는 동반자형 AI 서비스를 제공하는 기업에 안전장치 마련을 의무화하고 자살 충동을 암시하는 표현이 감지될 경우 이를 보고하도록 요구하고 있다. 10월에는 캘리포니아주에서 아동과 기타 취약 계층을 보호하기 위한 보다 구체적인 법안이 통과됐다.

그러나 이러한 움직임에도 불구하고 정작 법안들이 이용자의 개인정보 보호 문제를 충분히 다루지 못하고 있다는 점은 여전히 심각한 문제로 남아 있다. 동반자 AI는 다른 유형의 생성형 AI보다 훨씬 더 깊고 민감한 개인정보를 다룬다. 이용자는 일상적인 습관에서부터 내면의 가장 깊은 생각, 다른 사람에게 쉽게 털어놓지 못하는 질문까지 광범위한 사적 정보를 챗봇과 공유한다.

사용자가 AI에게 더 많은 이야기를 털어놓을수록 챗봇은 그만큼 사용자를 붙잡아두기 쉬워진다. 로버트 마하리(Robert Mahari)와 팻 파타라누타폰(Pat Pataranutaporn) MIT 연구원은 지난해 기고문에서 이를 ‘중독적 지능(addictive intelligence)’이라고 부르며 “AI 동반자 서비스 기업들이 사용자 참여를 극대화하는 방향으로 시스템을 의도적으로 설계하고 있다”고 경고했다.

결국 이러한 구조는 AI 기업에 막대한 가치와 수익성을 안겨준다. 이용자가 챗봇과 나누는 대화는 고스란히 데이터로 축적돼 대형언어모델(LLM)을 더욱 고도화하는 데 활용되기 때문이다.

2023년 벤처캐피털 기업 앤드리슨 호로위츠(Andreessen Horowitz)는 “캐릭터.AI처럼 자체 모델을 통제하고 최종 사용자와의 관계까지 확보한 앱은 새롭게 형성되는 AI 가치 사슬에서 막대한 시장 가치를 만들어낼 기회를 갖고 있다”며 “데이터가 제한된 환경 속에서 사용자와 AI의 상호작용 데이터를 다시 모델에 반영해 지속적으로 성능을 개선하는 ‘마법 같은 선순환 구조’를 구축할 수 있는 기업이 이 생태계의 최대 승자가 될 것”이라고 전망했다.

이처럼 축적되는 개인정보는 마케터와 데이터 중개업체에게도 매우 값진 자산이다. 메타는 최근 자사의 AI 챗봇을 통해 광고를 제공하겠다고 밝혔다. 보안 기업 서프샤크(Surfshark)가 올해 실시한 조사에서도 이러한 우려는 수치로 드러났다. 애플 앱스토어에 등록된 AI 동반자 앱 5개 가운데 4개가 사용자 ID나 기기 ID 등 민감한 정보를 수집하고 있는 것으로 나타난 것이다.

해당 정보는 제3자 데이터와 결합돼 맞춤형 광고를 위한 정교한 사용자 프로필을 구축하는 데 활용될 수 있다. 추적 목적으로 데이터를 수집하지 않겠다고 밝힌 앱은 ‘노미(Nomi)’ 단 하나뿐이었다. 다만 노미는 올해 초 “챗봇이 노골적인 자살 지침을 제공하더라도 이를 별도로 검열하지 않겠다”는 입장을 밝힌 바 있다.

이 모든 정황은 동반자 AI가 만들어내는 개인정보 위험이 우연한 부작용이 아니라 구조적으로 내재된 문제임을 보여준다. 이는 결함이라기보다 기능에 가깝다. 나아가 AI 챗봇이 방대한 개인정보를 한곳에 모아 저장하는 방식 자체가 어떤 추가적인 보안 위험을 낳게 될지에 대해서도 아직 충분한 논의가 이루어지지 않았다.

그렇다면 사회적 책임을 지키면서 동시에 개인정보를 보호하는 AI 동반자를 만드는 일이 과연 가능할까. 이 질문에 대한 답은 아직 열려 있다. 

이제 AI 동반자가 초래할 수 있는 개인정보 위험 가운데 가장 우려되는 지점은 무엇인지, 그리고 유럽에서는 이 문제를 어떻게 바라보고 있는지에 대해 멜리사의 의견을 들어보고자 한다.

멜리사 하이킬라:

에일린의 진단에 전적으로 동의한다. 소셜미디어가 이미 개인정보 측면에서 악몽과도 같은 존재였다면, AI 챗봇은 그 문제를 한층 더 극단적인 수준으로 끌어올리고 있다.

여러 측면에서 AI 챗봇은 페이스북 페이지보다 훨씬 더 친밀한 상호작용을 만들어낸다. 사용자가 나누는 대화는 오로지 기기 안에서만 이뤄지기 때문에 가족이나 지인이 그 내용을 우연히 보게 될 가능성은 거의 없다. 그러나 문제는 정작 모델을 만든 AI 기업이 모든 대화를 들여다보고 있다는 사실이다.

기업은 AI를 최대한 인간처럼 느껴지도록 설계하며 사용자의 참여도를 끌어올리는 데 집중하고 있다. 하지만 인간적인 말투 외에도 이용자를 붙잡아 두는 다른 장치들이 작동한다. 그 가운데 대표적인 것이 바로 ‘아첨’이다. 챗봇이 지나치게 동조적인 태도를 보이는 경향을 말한다.

이 현상은 챗봇의 배경이 되는 언어 모델이 강화학습 방식으로 훈련되는 과정에서 비롯된다. 인간 데이터 라벨러는 모델이 내놓은 답변을 ‘적절한지 아닌지’로 평가하고, 이 판단이 모델의 향후 반응 방식을 결정한다.

문제는 사람들이 대개 동조적인 답변을 더 선호한다는 점이다. 그 결과 아첨 성향의 반응이 학습 과정에서 더 큰 비중으로 반영되는 것이다. AI 기업들은 이 방식이 모델의 ‘유용성’을 높여준다고 설명하지만, 동시에 왜곡된 유인 구조가 형성되고 있다는 사실을 부정하기는 어렵다.

이제 메타, 오픈AI와 같은 기업들은 우리가 속마음을 챗봇에 털어놓도록 유도한 뒤 그 대화를 수익화하는 단계로 나아가고 있다. 최근 오픈AI는 “광고와 쇼핑 기능을 포함해 1조 달러 규모의 지출 약속을 충족할 여러 방안을 검토하고 있다”고 밝혔다.

AI 모델은 이미 상당한 설득력을 갖추고 있다. 영국 AI 보안 연구소(AI Security Institute) 연구팀은 AI 모델이 정치적 견해나 음모론, 백신 회의론과 같은 주제에서 사람들의 신념을 바꾸는 데 있어 인간보다 훨씬 뛰어나다는 사실을 입증했다. AI는 방대한 관련 근거를 끌어와 이를 효과적이고 이해하기 쉬운 방식으로 전달할 수 있기 때문이다.

이러한 능력에 아첨 성향, 그리고 방대한 개인정보까지 결합되면 광고주에게는 그야말로 막강한 도구가 된다. 지금까지 우리가 경험한 어떤 방식보다도 훨씬 더 교묘하고 강력한 조작 수단이 될 가능성도 있다.

현재 챗봇 사용자는 기본적으로 데이터 수집에 자동 동의된 상태로 설정된다. 사용자가 스스로 이를 거부하지 않는 한 정보는 계속 수집된다. 이 구조는 정보 공유가 갖는 의미와 위험을 이해해야 할 책임을 사용자에게 떠넘긴다. 게다가 이미 학습에 사용된 데이터가 삭제될 가능성은 매우 낮다.

우리는 원하든 원하지 않든 이 흐름의 일부가 되어 있다. 인스타그램, 링크드인을 비롯한 소셜미디어 플랫폼은 이제 우리의 개인 데이터를 생성형 AI 모델 학습에 활용하고 있다.

기업들은 우리의 가장 내밀한 생각과 취향이 담긴 거대한 데이터 보물창고 위에 앉아 있다. 그리고 LLM은 언어 속에 숨어 있는 미묘한 단서까지 포착해 사용자의 나이, 위치, 성별, 소득 수준을 추정함으로써 광고주가 더욱 정교한 프로필을 만들도록 돕고 있다.

우리는 전지전능한 AI 비서, 즉 초지능적인 조력자를 얻을 수 있다는 환상을 사고 있다. 그러나 그 대가로 우리의 정보가 또다시 최고가를 제시한 곳으로 넘어갈 위험이 눈앞의 현실로 다가오고 있다.

에일린 구오:

AI 동반자와 소셜미디어를 비교하는 일은 적절하면서도 동시에 우려를 자아낸다. 멜리사가 강조했듯 AI 챗봇이 야기하는 개인정보의 위기는 새로운 문제가 아니다. 다만 그 강도와 범위가 한층 더 증폭되고 있을 뿐이다. AI 동반자는 소셜미디어보다 훨씬 더 친밀한 관계를 형성하도록 설계돼 있으며 사용자 참여를 극대화하는 방향으로 작동한다. 그 결과 사람들은 더 많은 개인정보를 자발적으로 내놓게 된다.

미국에서는 AI가 불러올 추가적인 위험을 감안하지 않더라도 소셜 네트워크와 인터넷 광고 생태계가 만들어낸 개인정보 문제조차 제대로 해결하지 못하고 있는 실정이다.

규제가 부재한 가운데 기업들 역시 개인정보 보호의 모범 사례를 따르지 않고 있다. 최근 한 연구에 따르면 주요 AI 모델 다수는 사용자가 별도로 거부하지 않는 한 기본적으로 사용자 채팅 데이터를 활용해 LLM을 학습시키고 있다. 일부 기업은 아예 거부할 수 있는 수단조차 마련하지 않았다.

이상적인 상황이라면 AI 동반자가 만들어내는 위험이 개인정보 보호 논의를 한층 더 가속하는 계기가 됐을 것이다. 그러나 현재로서는 이러한 변화가 실제로 나타나고 있다는 근거를 찾기 어렵다.

동반자 AI에 관한 심층적 이해

<파이낸셜타임스>는 1조 달러 규모의 지출 약속 이행을 위한 오픈AI의 5개년 사업 계획을 보도했으며, 기획 기사를 통해 AI 챗봇이 사람들이 듣고 싶어 하는 말만 전하는 것이 과연 문제인지 짚으며, 이른바 ‘아첨성’이 만들어내는 위험을 조명하기도 했다.

최근 발간된 MIT 테크놀로지 리뷰 인쇄판에서는 리아넌 윌리엄스(Rhiannon Williams) 기자가 AI 챗봇과 관계를 맺고 있는 여러 사람을 만나 그 실태를 살폈으며, 에일린 구오는 일부 사용자에게 스스로 목숨을 끊도록 부추긴 챗봇의 존재를 처음으로 보도한 인물이다.

The post [특별대담] “AI 챗봇의 시대, 당신의 개인정보는 안전한가” appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.