[특별대담] AI는 전쟁을 어떻게 바꿀 것인가

헬렌 워렐 <파이낸셜 타임스> 탐사보도 기자이자 전 국방 및 안보 담당 편집자와 제임스 오도넬 MIT 테크놀로지 리뷰 AI 담당 선임 기자가 군대의 AI 활용과 관련된 윤리적 딜레마와 경제적 유인을 주제로 대담을 진행했다.

헬렌 워렐(Helen Warrell, 사진 좌측) <파이낸셜 타임스> 탐사보도 기자이자 전 국방 및 안보 담당 편집자와 제임스 오도넬(James O’Donnell) MIT 테크놀로지 리뷰 AI 담당 선임 기자가 군대의 AI 활용과 관련된 윤리적 딜레마와 경제적 유인에 관해 의견을 나누었다.

헬렌 워렐:

2027년 7월이다. 중국은 대만을 침공하기 직전이다. AI 기반 표적 탐지 기능을 탑재한 자율비행 드론들이 대만의 방공망을 제압할 준비를 마친 가운데, AI로 생성한 치명적인 사이버 공격으로 대만의 에너지 공급과 주요 통신망을 차단한다. 한편, AI 기반의 친중 밈(meme) 양산 조직 주도로 전 세계 소셜미디어에 대규모 허위정보가 퍼지면서 중국의 침략 행위에 대한 국제사회의 비난은 잦아들고 있다.

이러한 시나리오는 전쟁에서 AI를 활용하는 데 대한 논쟁에 디스토피아적 공포를 불러일으킨다. 군 지휘관들은 AI 기술을 적용한 부대가 인간이 지휘하는 부대보다 더 빠르고 정확하게 작전을 수행할 수 있기를 기대한다. 그러나 군대에서 AI의 역할이 더 중요해지면 이러한 지휘관들조차도 통제력을 상실하게 되면서, 전투가 겉잡을 수 없이 확대되고 윤리적·법적 감독조차 이루어지지 못할 것이라는 우려가 있다. 헨리 키신저(Henry Kissinger) 전 미국 국무장관도 말년에 AI가 주도하는 전쟁이 초래할 재앙에 대해 경고한 바 있다.

이러한 위험을 파악하고 완화하는 것은 오늘날 군이 최우선으로 삼아야 할 과제이다. 일부에서는 이를 핵무기 개발로 인류의 새로운 위험을 마주한 오펜하이머의 역사적 순간에 비유해 ‘오펜하이머 순간Oppenheimer moment)’이라고 부르기도 한다. 서방에서는 ‘핵무기 배치에 관한 결정권을 AI에 위임해서는 안 된다’는 의견에 대한 합의가 이루어지고 있다. 안토니우 구테흐스(António Guterres) 유엔 사무총장은 여기서 더 나아가 치명적 완전 자율무기체계의 전면적 금지를 촉구했다. 기술의 진화에 맞춰 규제를 바꾸어 나가는 것은 필수적인 일이다. 그러나 공상과학에 기반한 지나친 우려에 사로잡히게 되면 실제로 가능한 기술이 무엇인지 정확히 판단하기가 어려워질 수 있다. 하버드 대학교 산하 벨퍼 센터(Belfer Center)의 연구진이 지적한 바와 같이, AI 낙관론자들은 완전 자율무기체계의 실전 배치에 따른 어려움을 과소평가하는 경우가 많다. 전투에서 AI의 역량이 과대포장되고 있을 가능성이 있다는 점도 기억해야 한다.

이러한 주장의 핵심 지지자인 앤서니 킹(Anthony King) 액시터 대학교 전략안보연구소(Strategy and Security Institute) 소장은 AI가 인간을 대체하기보다는 군사적 통찰력을 향상시키는 데 활용될 것이라고 주장한 바 있다. 그는 전쟁의 성격이 변화하고 원격 기술이 무기체계를 정교화하고 있다고 해도 전쟁 자체를 완전히 자동화하는 것은 단순한 환상에 불과하다고 지적했다.

현재 군사 분야에서 AI가 활용되는 세 가지 사례 중 단 하나도 ‘완전 자율’에 해당되지 않는다. AI는 작전 계획 및 물류, 사이버 전쟁(방해공작, 첩보, 해킹, 정보작전 등) 그리고 가장 논란이 되는 무기 표적 식별 및 추적에 활용되고 있다(이 기술은 이미 우크라이나와 가자지구 전장에서 사용 중이다). 우크라이나 군대는 러시아의 전파 방해 장비를 회피해 중요 시설에 접근하는 드론을 조종하는 데 AI 소프트웨어를 사용한다. 이스라엘 방위군은 ‘라벤더(Lavender)’라는 AI 기반의 의사결정 지원 시스템을 개발했으며, 이 시스템은 가자지구 내 약 3만 7,000명의 잠재적 인간 표적을 식별하는 데 기여했다.

라벤더의 데이터베이스가 학습 데이터에 내재된 편향을 그대로 재현할 위험은 분명 존재한다. 그러나 군인도 편향을 가질 수 있다. 라벤더를 사용한 한 이스라엘 정보참모는 슬픔에 빠진 군인보다 ‘통계적 메커니즘’의 공정성을 더 신뢰한다고 주장하기도 했다.

AI 무기를 설계하는 기술 낙관론자들은 심지어 AI 무기의 능력을 통제하기 위한 새로운 규제 장치가 필요하다는 사실조차 부정한다. 현재 전략 예측 기업 카시AI(Cassi AI)를 운영하는 키스 디어(Keith Dear) 전 영국 군 장교는 기존 법률로도 AI 무기를 규제하기에 충분하다고 주장한다. 그는 “학습 데이터에 시스템이 폭주할 수 있는 요소가 포함되지 않도록 확인하면 된다”며 “문제가 생기면 해당 AI 시스템을 배치한 인간 지휘관이 모든 책임을 지면 된다”고 주장했다.

전쟁에서 AI를 사용하는 것에 대해 우려하는 이들 중 일부가 잔혹하지만 현실적인 군사 규범에 익숙하지 않은 사람들이라는 점이 흥미롭다. 전쟁에서 AI 사용을 반대하는 이들 중 일부는 자율 시스템 사용보다는 전쟁 자체에 대해 반대하고 있는 것처럼 보이기도 한다. 이에 대해 제임스의 의견을 들어보겠다.

제임스 오도넬:

주목할 만한 점은 AI 제품을 군사적으로 활용하는 것에 대한 AI 기업들의 태도가 급격히 변화했다는 것이다. 2024년 초 오픈AI는 자사 도구를 전쟁에 활용하는 것을 명백히 금지했으나 2024년 말에는 미국의 방위 기술 기업 안두릴(Anduril)과 협약을 체결해 전장에서 드론을 격추하는 데 협력하기로 했다.

완전 자율 무기는 아니지만 AI를 전장에서 활용하는 이러한 조치는 기술 기업들이 방위 산업과 공개적으로 연계할 수 있는 정도가 크게 달라졌음을 보여주는 중대한 변화였다.

그 사이에 과연 무슨 일이 있었던 것일까? 이러한 변화에 기여한 첫 번째 요인은 AI에 대한 과열된 기대다. AI로 초지능과 과학적 발견을 이룰 수 있을 뿐 아니라 전쟁을 더 정밀하고 계산적으로 만들어 인간의 실수를 줄일 수 있게 될 것이라는 이야기가 계속해서 나오고 있다. 본 기자도 취재 과정에서 인간보다 빠른 속도로 외국 정보를 분석할 수 있다고 홍보된 AI를 남태평양 순찰 중 테스트해 본 미 해병대원과 이야기를 나누었던 적이 있다.

두 번째는 돈이다. 오픈AI를 비롯한 기업들은 AI 모델을 학습시키고 운영하는 데 쏟아붓고 있는 막대한 자금을 이제 회수해야 한다. 그리고 미국 국방부만큼 자금력이 풍부한 곳은 거의 없다. 유럽의 국방부 수장들도 기꺼이 큰 돈을 쓸 태세다. 한편, 올해 국방 기술 분야에 유입된 벤처캐피털 투자액은 이미 2024년 전체 규모의 두 배를 넘었는데, 이는 군대가 스타트업 제품을 구매하는 데 한층 적극적으로 나서면서 벤처캐피털들이 그 흐름에 편승해 수익을 노리고 있기 때문이다.

AI를 활용한 전쟁에 반대하는 입장은 몇 가지로 나뉜다고 본다. 그중 하나는 ‘AI를 활용한 더 정밀한 표적 공격’이 전쟁을 확대하는 것이 아니라 인명 피해를 줄일 것이라는 주장을 근본적으로 거부하는 입장이다. 아프가니스탄에서 처음 드론 전쟁이 시작됐던 때를 떠올려보자. 드론 공격을 실행하는 비용이 더 저렴해졌다고 해서 정말로 살상 행위가 줄었다고 할 수 있을까? 오히려 달러당 더 많은 파괴가 가능하게 된 것은 아닐까?

이제 드디어 헬렌의 질문에 답하자면, 두 번째 입장을 지지하는 사람들은 전쟁의 현실을 잘 알면서도 AI 기술의 근본적 한계에 대해 매우 구체적인 불만을 제기하는 이들이다. 예를 들어 미시 커밍스(Missy Cummings) 조지메이슨 대학교 공학 및 컴퓨터과학 교수는 원래 미국 해군 전투기 조종사 출신이다. 커밍스 교수는 특히 대형언어모델(LLM)이 군사 환경에서는 치명적인 오류를 범하기 쉽다는 의견을 강력히 주장해왔다.

이에 대한 일반적인 반론은 AI의 출력을 인간이 검증한다는 것이다. 그러나 AI 모델이 수천 개의 입력값을 바탕으로 결론을 내린다면, 그 결론을 정말 한 사람이 검증할 수 있을까?

기술 기업들은 이러한 고위험 응용 분야에서 AI가 ‘엄청난 능력’을 발휘할 수 있다고 장담하고 있고, 동시에 AI 기술을 도입해야 한다는 압력도 극심한 상황이다. 따라서 지금은 회의적인 시각이 오히려 더 필요한 때라고 생각한다.

헬렌 워렐:

AI를 활용한 전쟁 시스템의 안정성과 이에 대한 감독 체계에 우리는 계속해서 의문을 가져야 하며, 정치 지도자들에게도 이 문제에 대한 책임을 물어야 한다. 또한 기술 기업들이 AI가 전장에서 발휘할 수 있을 것이라고 장담하는 ‘엄청난 능력’에 대해 회의적인 시각을 가져야 한다는 의견에 동의한다.

방산 기술 분야는 아직 초기 단계지만 급성장 중이다. 이러한 방산 기술 분야는 군에 기회를 제공할 수 있지만, 그러한 기회에는 위험도 따를 수 있다. 특히 문제는 AI 무기 경쟁이 빠르고 은밀하게 전개되는 과정에서 이러한 신기술들이 반드시 거쳐야 할 검증과 논의가 이루어지지 못할 수도 있다는 점이라고 생각한다.

The post [특별대담] AI는 전쟁을 어떻게 바꿀 것인가 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.