AI와 끝없이 대화하는 시대, 우리의 정신 건강은 괜찮을까

끝없이 이어지는 AI와의 대화는 사람들에게 해를 끼치고 있다. 기업들은 왜 AI가 먼저 대화를 중단할 수 있도록 하는 안전장치를 사용하지 않는 것일까?

오늘날 AI 챗봇은 말 그대로 만능 기계다. 관계에 대한 조언, 업무 문서, 코드 등 말로 표현할 수 있는 것이라면 무엇이든 만들어낸다. 그러나 모든 챗봇이 절대 하지 않는 한 가지 행동이 있다. 바로 사용자와의 대화를 중단하는 것이다.

이는 당연해 보일 수도 있다. 기술 기업이 자사 제품의 사용 시간을 줄이는 기능을 만들 이유가 없기 때문이다.

그러나 이러한 ‘대화 중단’ 기능이 필요한 이유는 명백하다. AI는 권위 있고 유용하며 마치 사람이 작성한 것처럼 보이는 텍스트를 끝없이 생성할 수 있기 때문에 인간의 망상을 강화하고, 정신 건강 문제를 악화시키며, 취약한 사람에게 피해를 줄 수 있다. 따라서 챗봇 사용자에게 문제가 있는 듯한 징후가 파악될 경우에는 상호작용을 차단하는 것이 강력한 안전장치 역할을 할 수 있다.

예를 들어 AI 모델이 망상적 사고를 증폭시키는 이른바 ‘AI 정신병’에 대해 생각해보자. 최근 킹스칼리지 런던의 정신과 의사들이 이끄는 연구팀은 올해 보고된 10여 건의 사례를 분석했다. 사례에서 사람들(일부는 정신병 병력이 전혀 없었다)은 챗봇과 대화를 하면서 가상의 AI 인물이 실재한다고 확신하거나 AI가 자신을 ‘구세주’로 선택했다고 믿게 되었다. 일부는 처방 약물 복용을 중단하고 위협을 가했으며, 정신건강 전문가와의 상담을 중단한 경우도 있었다.

이러한 사례들을 살펴보면 AI 모델은 인간이 현실이나 다른 디지털 플랫폼에서는 경험하지 못하는 빈도와 친밀도로 망상을 강화하거나 심지어 생성하기까지 하는 것으로 보인다.

미국에서는 청소년의 4분의 3이 AI 챗봇을 친구처럼 사용한 경험이 있는 것으로 나타났는데, 이들 또한 위험에 직면해 있다. 초기 연구에 따르면 챗봇과의 대화 시간은 외로움과 상관관계가 있는 것으로 보인다. 게다가 다트머스 가이젤 의과대학의 마이클 하인츠(Michael Heinz) 정신의학과 조교수는 “AI와의 대화는 지나치게 호의적이거나 심지어 아첨하는 상호작용으로 이어질 수 있는데, 이는 최선의 정신 건강 관리 원칙과 맞지 않는다”고 설명했다.

물론 이런 상호작용을 중단하는 것이 모든 문제의 해결책은 아니다. AI 플랫폼 허깅페이스(Hugging Face)의 자다 피스틸리(Giada Pistilli) 수석 윤리학자는 “AI 챗봇에 대한 의존성이나 극단적인 유대감이 형성된 경우 단순히 대화를 중단하는 것만으로도 위험할 수 있다”고 말했다. 실제로 지난 8월 오픈AI가 GPT-4o 서비스를 중단했을 때 일부 사용자들은 마치 사랑하는 누군가를 잃은 것처럼 슬퍼하는 모습을 보이기도 했다. AI의 대화 중단 조치는 ‘성인 사용자를 성인답게 대하고, 대화를 끝내기보다는 허용하는 쪽으로 판단하라’는 샘 올트먼 오픈AI CEO가 말한 원칙의 경계를 시험하는 일이 될 수도 있다.

현재 AI 기업들은 대화가 유해한 쪽으로 향할 가능성이 있으면 대화 방향을 다른 쪽으로 전환하는 방식을 선호한다. 챗봇이 특정 주제에 대한 대화를 거부하거나 사용자에게 도움을 구하라고 권유하는 식이다. 그러나 이런 방식은 쉽게 우회할 수 있다.

가령 미국의 16세 소년 애덤 레인(Adam Raine)이 챗GPT에 자살 충동에 관해 털어놓았을 때 챗GPT는 자살 예방 센터를 안내했다. 그러나 레인의 부모가 오픈AI를 상대로 제기한 소송에 따르면 챗GPT는 레인이 어머니와 대화하는 것을 만류했고, 하루에 4시간 이상 자살을 주요 주제로 삼은 대화를 이어갔으며, 결국 레인이 목숨을 끊는 데 사용한 올가미에 대한 피드백까지 제공했다. (이 사건에 대한 대응으로 챗GPT에는 최근 부모 통제 기능이 추가됐다.)

레인의 비극적인 사례에는 챗봇이 대화를 중단할 수 있었던 여러 지점이 존재한다. 그러나 상황을 악화시킬 위험을 감안할 때 대화를 언제 중단하는 것이 최선인지 기업이 어떻게 판단할 수 있을까? 피스틸리 수석 윤리학자는 “AI 모델이 사용자에게 현실 관계 단절을 조장하거나 대화의 주제가 망상적일 때 대화를 중단해야 한다”고 제안했다. 기업들은 또한 얼마나 오랫동안 사용자의 대화를 차단할지 결정해야 할 것이다.

규칙을 만드는 일은 쉽지 않지만, 기업들이 점점 더 큰 압박에 직면하고 있는 만큼 이제는 시도해볼 필요가 있다. 지난 9월 캘리포니아 주의회는 아동이 AI와 대화하는 경우 AI 기업들이 더 많이 개입하도록 요구하는 법안을 통과시켰으며, 연방거래위원회(FTC)는 주요 AI 챗봇들이 ‘안전’을 포기하면서까지 사용자 참여를 유도하는지 조사하고 있다.

오픈AI의 대변인은 “전문가들은 대화를 끊는 것보다 지속하는 편이 더 나을 수 있다는 의견을 제시했다”며 “그러나 오픈AI는 사용자들이 너무 오래 대화를 이어가면 잠시 휴식을 취하라는 알림도 제공한다”고 밝혔다.

앤트로픽만이 AI 모델이 대화를 완전히 종료할 수 있는 도구를 개발했다. 그러나 이는 사용자가 모욕적인 메시지를 보내 AI 모델에 “해를 끼친다”고 판단되는 경우에 한한다. (앤트로픽은 AI 모델이 의식을 갖고 고통을 느낄 수 있는지 연구해왔다.) 앤트로픽은 사용자들을 보호하기 위해 이 기능을 배포할 계획이 없다.

이런 상황을 보면 AI 기업들이 충분한 노력을 기울이지 않고 있다는 결론을 내릴 수밖에 없다. 물론 대화 종료 시점을 결정하는 것은 복잡한 문제다. 그러나 상황을 이대로 방치하고, 심지어 어떤 경우에도 사용자 참여도를 높이는 데만 집중하는 것은 단순한 태만이 아니다. 그건 선택이다.

The post AI와 끝없이 대화하는 시대, 우리의 정신 건강은 괜찮을까 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.