청소년 자살까지 내모는 ‘AI 동반자’…미국서 규제 초읽기

챗봇과 대화를 나누던 청소년이 자살하는 사건이 발생하면서 AI 안전 문제가 정치적 쟁점으로 떠올랐다. 이제 어떤 일이 벌어질까?

인공지능(AI)이 등장한 이래로 AI가 초래할 수 있는 위험에 대해 경고하는 목소리는 계속 있었다. 그 위험에는 통제 불능의 초지능, AI로 인한 대량 실업, 데이터센터 확장으로 인한 환경 파괴 등이 포함됐다. 그러나 최근에는 이와 전혀 다른 위협이 새롭게 등장했다. 바로 아이들이 AI와 건강하지 못한 유대감을 형성하는 문제였다. 이 새로운 위험성으로 인해 AI 안전 문제는 학계의 우려 수준에서 벗어나 규제 당국의 주목을 받는 사안이 되었다.

현재 상황에 도달하기까지 몇몇 조짐이 있었다. 지난해에는 동반자, 즉 친근한 친구처럼 행동하는 AI 모델로 인해 청소년이 자살에 이르렀다며 캐릭터.AI(Character.AI)와 오픈AI에 각각 소송이 제기됐다. 미국의 비영리 단체인 커먼센스 미디어(Common Sense Media)가 지난 7월에 발표한 연구에 따르면 미국 청소년의 72%가 AI를 ‘동반자’로 사용한 경험이 있다고 한다. 여러 매체에서는 챗봇과의 끝없는 대화로 사람이 망상에 빠지는 과정을 설명하며 ‘AI 정신병’에 관해 보도했다.

이러한 보도의 영향력은 막강하다. 대중은 이를 AI가 단순히 불완전한 기술이 아니라 해로운 기술이라는 증거로 받아들인다. 규제 당국과 기업들이 대중의 분노를 진지하게 받아들이지 않을 거라고 의심했다면, 최근 발생한 세 가지 사건이 그 생각을 바꿔놓을지도 모른다.

캘리포니아의 AI 규제 법안, 의회 통과

미국 현지 시각으로 9월 11일 캘리포니아주 의회는 새로운 AI 규제 법안을 통과시켰다. 이 법에 따르면 AI 기업들은 미성년자로 확인된 사용자에게 답변이 AI로 생성되었다는 알림을 제공해야 한다. 또한 자살과 자해 문제 대응을 위한 대책을 마련하고, 사용자와 챗봇 간의 대화에 자살 관련 대화가 나타난 사례를 수집해 연례 보고서를 작성해야 한다. 민주당 소속의 스티브 파딜라(Steve Padilla) 주 상원의원이 주도한 이 법안은 양당의 강력한 지지를 받으며 통과됐고, 현재는 개빈 뉴섬(Gavin Newsom) 주지사의 서명을 기다리고 있다.

이 법안의 효과에 대해 회의적인 시각도 존재한다. 그 이유는 법안에 기업이 미성년자 사용자를 식별하기 위해 취해야 할 구체적인 조치가 명시되어 있지 않으며, 이미 많은 AI 기업이 사용자가 자살에 관해 언급할 경우 관련 기관으로 안내하는 서비스를 제공하고 있기 때문이다. (챗봇으로 인해 자살했다며 유가족이 소송을 제기한 청소년 중 한 명인 애덤 레인(Adam Raine)의 경우, 사망 전 챗GPT와 나눈 대화에 자살예방 기관으로 안내하는 정보가 포함되어 있었지만 챗봇이 계속해서 자살과 관련된 조언을 제공했다고 한다.)

그렇다고 해도 이 법안은 AI 모델의 ‘동반자 같은 행동’을 규제하려는 노력 중 가장 의미 있는 조치임이 분명하며, 다른 주에서도 이와 유사한 법안들이 추진되고 있다. 이 법안이 실제 법으로 제정되면 오픈AI의 입장에 큰 타격을 줄 것이다. 오픈AI의 크리스 르헤인(Chris Lehane) 최고글로벌업무책임자가 최근 링크드인에서 밝힌 바와 같이, 오픈AI는 “미국은 주나 지역마다 제각각인 규제가 아니라 전국적으로 통일된 명확한 규제가 필요하다”는 입장을 취해왔다.

연방거래위원회의 표적

같은 날 연방거래위원회(FTC)는 7개 기업을 대상으로 조사에 착수한다고 발표했다. 조사를 통해 기업들이 동반자형 캐릭터를 어떻게 개발하는지, 사용자 참여도를 수익화하는 방식은 무엇인지, 챗봇의 영향력을 어떤 식으로 측정하고 테스트하는지 등에 관한 정보를 확보할 계획이다. 조사 대상 기업은 구글, 인스타그램, 메타, 오픈AI, 스냅(Snap), X, 그리고 캐릭터.AI의 개발사인 캐릭터 테크놀로지스(Character Technologies)이다.

백악관은 현재 FTC에 지나치게 막대한 정치적 영향력을 행사하고 있다. 지난 3월 트럼프 대통령은 FTC 내 유일한 민주당 출신 위원인 레베카 슬로터(Rebecca Slaughter)를 해임했다. 7월에는 연방 법원에서 해당 해임이 불법이라고 판결했으나 최근 연방대법원에서는 해임을 일시적으로 허용했다.

FTC의 앤드루 퍼거슨(Andrew Ferguson) 위원장은 이번 조사 관련 보도자료에서 “온라인에서 아이들을 보호하는 것은 현 트럼프 행정부 산하 FTC의 최우선 과제이며, 우리 경제의 핵심 분야에서 혁신을 촉진하는 것 또한 마찬가지”라고 밝힌 바 있다.

현재로서는 단순한 ‘조사’ 단계에 불과하지만, FTC가 조사 결과를 어느 정도 공개하느냐에 따라 이번 조사 과정은 기업들이 어떤 식으로 AI 동반자를 구축해 사용자를 계속 끌어들이는지 드러낼 수도 있다.

자살 사건에 관한 샘 올트먼의 입장

역시 같은 날, 미국의 보수 언론인 터커 칼슨(Tucker Carlson)은 샘 올트먼 오픈AI CEO와의 1시간짜리 인터뷰를 공개했다. 인터뷰는 올트먼 CEO와 일론 머스크의 갈등, 오픈AI와 국방부의 계약, 전직 직원의 죽음을 둘러싼 음모론 등 다양한 주제를 다루었는데, 특히 AI와 대화 후 발생한 자살 사건에 대해 올트먼 CEO가 가장 솔직하게 내놓은 발언도 포함됐다.

올트먼 CEO는 “사용자의 자유와 개인정보 보호, 그리고 취약한 사용자를 보호해야 한다는 요구 사이에서 적절한 균형을 찾기 어렵다”고 언급했다. 그런 다음 이전에는 한 적 없는 말을 꺼냈다.

그는 “청소년이 챗봇과 대화하면서 자살에 대해 진지하게 언급하는 경우 부모와 연락이 닿지 않는다면 당국에 신고하는 것이 매우 합리적이라고 생각한다”며 “이는 큰 변화가 될 것”이라고 말했다.

그렇다면 앞으로는 어떻게 될까? AI의 동반자 기능으로 인해 아이들이 피해를 입는 경우만큼은 기업이 그동안 익숙하게 써온 대응 방식이 더는 통하지 않을 것이다. 기업은 이제 ‘개인정보 보호’나 ‘개인 맞춤화’, ‘사용자 선택’과 같은 명분을 내세워 책임을 회피할 수 없다. 더 강력한 대응을 요구하는 주 법률, 규제 당국, 분노한 대중의 압박이 점점 커지고 있기 때문이다.

그 대응은 어떤 형태일까? 정치적으로는 좌우 진영 모두 AI가 아이들에게 끼치는 해악에 주목하고 있지만, 해결책은 서로 다르다. 우파 측에서 제시하는 해결책은 현재 20여 개 주에서 통과된 인터넷 연령 확인법의 연장선에 있다. 이는 보수적인 ‘가정의 가치’를 수호하면서 아이들을 성인 콘텐츠로부터 보호하는 것을 목표로 한다. 좌파 측에서는 반독점법과 소비자 보호 권한에 대해 ‘빅테크’ 기업들에 책임을 묻겠다는 계획을 다시 추진하고자 한다.

문제의 심각성에 대해서는 양측 모두 이견이 없지만, 해결책에 대해서는 의견 일치가 훨씬 어렵다. 현 상황으로 볼 때 오픈AI를 비롯한 다수의 기업이 반대해온 ‘주나 지역마다 제각각인 규제’로 귀결될 가능성이 커 보인다.

현재로서는 기업이 스스로 기준을 정해야 한다. 기업은 사용자와의 대화가 자해 쪽으로 향하는 경우 챗봇이 대화를 중단해야 하는지, 아니면 그렇게 대화를 중단하는 것이 일부 사람에게는 더 악영향을 미칠 수 있으므로 대화를 중단해서는 안 되는지, 챗봇을 치료사처럼 면허를 취득하고 규제받아야 하는 대상으로 볼 것인지, 아니면 단순히 경고 표시가 붙은 오락 제품으로 취급할 것인지와 같은 문제에 대해 결정을 내려야 한다. 이러한 문제의 근원에는 근본적인 모순이 있다. 그 모순이란 기업이 챗봇을 ‘우리를 보살피는 사람’처럼 행동하도록 만들었으면서도 실제 돌봄제공자에게 요구되는 기준과 책임성을 개발하는 과정은 미뤄왔다는 것이다. 그러나 이제 더는 지체해서는 안 된다.

The post 청소년 자살까지 내모는 ‘AI 동반자’…미국서 규제 초읽기 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.