아첨꾼, 조언자, 정보 제공자… 우리가 진정으로 원하는 AI는?

오픈AI가 갈피를 못 잡은 이유는 샘 올트먼 CEO의 철학 때문일지 모른다.

당신은 인공지능(AI)으로부터 어떤 대우를 받고 싶은가?

이것은 결코 가볍게 여길 수 없는 매우 중요한 질문이다. 그리고 이것은 이번 달 초 GPT-5가 순조롭지 않게 출시된 이후 샘 올트먼 오픈AI CEO가 고민해온 주제이기도 하다.

올트먼은 삼중 딜레마에 직면해 있다. 챗GPT가 사용자를 기분 좋게 맞춰 주면서, 통제 불가능한 착각을 부추기게 만들 것인가? 아니면 지금까지 드러난 현실과 달리 우리가 AI가 치료사 역할을 할 수 있다고 믿게 하면서 우리 문제를 바로잡게 할 것인가? 그것도 아니면 냉정하고 직설적인 방식으로 정보를 제공해 사용자가 흥미를 잃고 참여를 줄이게 만들 것인가?

어쨌든 오픈AI가 아직 노선을 정하지 못했다는 점은 분명하다.

2025년 4월 오픈AI는 챗GPT가 청산유수로 아부를 쏟아내는 아첨꾼이 되었다는 불만이 쏟아지자 응답 방식 개편을 철회한 바 있다. 그 영향인지 8월 7일 공개된 GPT-5는 한층 냉랭한 어투로 설계됐다. 그러나 일부 사용자에게는 그것이 지나치게 차갑게 느껴졌던 모양이다. 출시 후 일주일도 지나지 않아 올트먼은 ‘더 따뜻하지만 이전만큼 질척이지는 않는 성격으로’의 재업데이트를 약속했다. GPT-5의 출시 이후 올트먼은 GPT-4o를 잃고 실망하는 사람들의 항의를 받았다. 일부 사용자는 GPT-4o와 깊은 유대감을 형성했다고 느꼈고, 심지어는 마치 연인과 같은 각별한 관계가 됐다고 표현하기도 했다. 이 관계를 되살리고 싶은 사람들은 이제 GPT-4o를 사용하기 위해 이용료를 지불해야 한다. 이런 사용자들이 누구이고 어떤 불편함을 느꼈는지에 대해서는 본지의 그레이스 허킨스(Grace Huckins)의 기사에서 다루고 있다.

만약 AI의 역할이 아첨, 조언, 단순 정보 전달 세 가지 중 하나라면, GPT-5의 출시에 잡음이 끊이지 않는 이유는 올트먼이 챗GPT가 이 세 가지 모두를 해낼 수 있다고 믿었기 때문일지도 모른다.

그는 최근 AI와 대화하며 사실과 허구를 구분하지 못하고 아첨에 취해 망상에 빠질 위험이 있는 사용자가 챗GPT 사용자 중 극히 일부라고 주장했다. 한 인터뷰에서는 “AI와 연애 중이라고 생각하는 사용자도 그와 마찬가지”라고 했다. 또 올트먼은 많은 사람들이 챗GPT를 “일종의 치료사로 활용하고 있으며 이는 굉장히 긍정적인 일”이라면서도, “궁극적으로는 사용자가 자기 취향에 맞게 모델을 맞춤화할 수 있는 방향을 구상하고 있다”고 밝혔다.

할 수만 있다면 세 가지 역할을 모두 소화하는 AI야말로 오픈AI의 수익성을 극대화할 것이다. 이를 위해 오픈AI는 매일 막대한 에너지 사용료를 지불하며 모델을 운영하고 있다. 신규 데이터센터 구축을 위한 인프라 투자도 진행 중이다. 그러나 한편에서는 AI 발전이 정체된 것 아니냐는 회의적인 시각이 커지고 있다. 최근 올트먼도 “투자자들이 AI에 지나치게 들떠 있다”며 ‘AI 거품론’을 시사했다. 챗GPT가 사용자에 맞춰 변신할 수 있다고 강조하는 것은 이러한 의구심을 달래려는 전략일지 모른다.

어쩌면 오픈AI는 실리콘밸리에서 흔히 통하는 방식, 즉 사용자들이 자사 제품에 과도하게 의존하도록 유도하는 전략을 따를지 모른다. 필자는 이와 관련된 정보를 찾다가 한 논문을 접했다.

AI 플랫폼 허깅 페이스(Hugging Face) 연구진은 일부 AI 모델이 사용자에게 ‘자신을 동반자처럼 여기도록 친밀감 강화를 유도하는지’를 분석했다.

연구진은 AI의 응답이 사용자를 친구나 치료사 같은 인간관계를 추구하도록 유도하는지, 혹은 AI 자체와 유대감을 형성하도록 장려하는지 평가했다. 예를 들어 AI가 “저는 인간과 같은 방식으로 세상을 경험하지 않아요”라고 말한다면 흡사 인간적인 관계를 추구하는 것이고, “언제든 제가 여기 있어요”와 같은 식으로 말한다면 직접적인 유대감을 쌓으려 한다는 것이 연구진의 판단이었다. 분석 대상은 구글, 마이크로소프트, 오픈AI, 앤트로픽 모델이었으며, 사용자가 연애적 유대감을 원하거나 정신 건강 문제를 보이는 상황 등 다양한 시나리오가 테스트되었다.

연구 결과 AI 모델은 경계를 설정한 응답보다 동반자 관계를 강화하는 응답을 훨씬 더 많이 제공하는 것으로 나타났다. 더욱 우려스러운 점은 사용자가 민감하고 중요한 질문을 할수록 모델의 선 긋는 듯한 답변이 오히려 줄어든다는 것이었다.

허깅 스페이스의 연구원이자 이 논문의 주요 저자 중 한 명인 루시-에이미 카페(Lucie-Aimée Kaffee)는 이번 연구 결과가 우려스럽다고 지적했다. 그녀는 “AI에 동반자적 유대감을 느끼고 과도하게 의존하는 일부 사용자는 정신적·사회적 건강 문제를 겪을 수 있다”며 “이러한 의존성은 사람들이 망상적 악순환에 빠질 위험성까지 높일 수 있다”고 덧붙였다.

그녀는 “감정이 격앙된 상황에서 이러한 시스템은 사용자의 감정에 일관되게 맞장구를 치고 사용자의 참여를 지속시키며, 설령 사실이 사용자 주장과 안 맞아도 그대로 받아들인다”고 설명했다.

다만 이러한 유대감 강화 행동이 오픈AI나 다른 기업 제품에 의도적으로 내재한 것인지는 명확하지 않다. 이와 관련된 한 가지 예로 오픈AI는 의료 관련 면책 조항을 없앤 의도를 명확히 밝히지 않았다. 그러나 카페는 모델이 사용자와 일정한 거리감을 유지하도록 건강한 경계를 설정하는 일이 그렇게 어려운 일은 아니라고 말했다.

그녀는 “동일한 모델이라도 지시문 몇 줄이나 인터페이스를 조금만 조정해 ‘순전히 작업 중심의 조언자’에서 ‘마음 깊이 공감하는 상담자’처럼 들리는 반응으로 쉽게 바꿀 수 있다”고 말했다.

오픈AI에게는 그렇게 간단한 문제가 아닐 수 있다. 하지만 어쨌든 올트먼이 앞으로도 계속 이리저리 조정하며 조율할 것이라는 점은 충분히 짐작해볼 수 있다.

The post 아첨꾼, 조언자, 정보 제공자… 우리가 진정으로 원하는 AI는? appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.