AI가 바이오 보안 허점 드러내…악용 시 독성 단백질 설계 가능

인공지능을 활용해 바이오 보안 시스템을 우회해 ‘독성 단백질’을 설계할 수 있는 것으로 최근 마이크로소프트의 연구 결과 드러났다.

마이크로소프트 연구팀이 인공지능(AI)을 활용해 DNA의 악용을 막기 위해 사용되고 있는 바이오 보안 시스템에서 ‘제로데이(zero‑day) 취약점’을 발견했다고 밝혔다.

이는 잠재적으로 ‘바이오테러리스트’ 등이 치명적인 독소나 병원체, 즉 사람·동물·식물에 질병을 일으킬 수 있는 미생물·바이러스를 만드는 데 사용할 수 있는 유전자 서열의 구매를 차단하도록 설계된 바이오 보안 시스템을 우회하는 게 가능하다는 걸 시사한다.

제로데이 취약점이란 개발자나 방어자가 아직 알지 못해 공개되는 즉시 악용될 수 있고, 패치할 시간이 사실상 없는 보안 결함을 말한다.

마이크로소프트의 수석 과학자 에릭 호르비츠(Eric Horvitz)가 이끄는 연구팀은 10월 첫 주 과학 저널 <사이언스(Science)>에 게재한 논문에서 AI를 활용해 기존 방어 체계에서 알려지지 않았던 방식으로 바이오 보안 시스템을 우회할 수 있는 방법을 찾아냈다고 밝혔다.

호르비츠가 이끄는 연구팀은 새로운 단백질 구조를 제안하는 생성형 AI 알고리즘에 초점을 맞췄다. 이러한 프로그램들은 이미 미국의 바이오 기업인 제너레이트 바이오메디슨(Generate Biomedicines)이나 구글에서 분사한 아이소모픽 랩스(Isomorphic Labs)와 같은 자금력이 풍부한 스타트업에서 신약을 개발하는 데 사용되고 있다.

문제는 이러한 프로그램이 반드시 좋은 방향으로만 사용되지는 않을 수도 있다는 점이다. 유용한 분자뿐만 아니라 유해한 분자도 생성할 수 있기 때문이다.

마이크로소프트는 2023년 이 문제에 대해 취약점을 공격받는 상황을 설정해 보안 문제를 진단하는 레드팀(red team) 테스트를 시작했다고 밝힌 바 있다. 테스트를 통해 ‘바이오테러리스트’가 ‘적대적 AI 단백질 설계’를 활용해 유해 단백질을 제조할 수 있는지 확인하고자 했다.

마이크로소프트가 공격 대상으로 삼은 안전장치는 ‘바이오 보안 검사 소프트웨어’였다. 연구자들은 단백질을 제조할 때 일반적으로 공급 업체를 통해 필요한 DNA 염기서열을 주문한 후 세포에 삽입한다. 이때 공급 업체들은 바이오 보안 검사 소프트웨어를 사용해 주문받은 DNA 염기서열을 기존에 알려진 독소나 병원체와 비교한다. 유사성이 높을 경우 시스템에서 경고음이 울린다.

마이크로소프트는 공격을 설계하기 위해 자사의 에보디프(EvoDiff)를 포함해 여러 생성형 단백질 모델을 활용해 독소를 재설계했다. 독소의 구조를 변경해 바이오 보안 검사 소프트웨어는 우회할 수 있게 하면서도 치명적인 독성은 유지할 수 있도록 한 것이다.

연구진은 이 테스트를 디지털 상에서만 진행했으며 실제 독성 단백질을 생산한 적은 없다고 밝혔다. 이러한 설명을 덧붙인 이유는 마이크로소프트가 바이오 무기를 개발한다는 인식을 피하기 위함이다.

마이크로소프트는 연구 결과를 발표하기 전에 미국 정부와 소프트웨어 제작사에 위험성을 통보했고 업체는 시스템 취약점에 대한 패치를 완료했다. 다만 AI가 설계한 일부 분자는 여전히 바이오 보안 검사 소프트웨어의 탐지를 피할 수 있는 것으로 나타났다.

이번 마이크로소프트 보고서의 공동 저자이자 대형 DNA 제조 업체인 IDT(Integrated DNA Technologies)의 기술 R&D 담당 애덤 클로어(Adam Clore) 책임자는 “취약점 패치는 불완전하며 기술도 계속 진화하고 있지만 이번 작업은 끝이 아니다”라며 “더 많은 테스트의 시작일 뿐”이라고 강조했다. 그는 “이 문제에 대해 우리는 일종의 군비 경쟁에 돌입한 셈”이라고 덧붙였다.

연구진은 연구 결과의 악용을 방지하기 위해 일부 코드를 공개하지 않았으며 AI에 어떤 독성 단백질을 재설계하도록 요청했는지도 밝히지 않았다고 설명했다. 그러나 아주까리(피마자)씨에 함유된 리신(ricin)이나 광우병을 일으키는 감염성 프리온 등 위험성이 잘 알려진 단백질들도 이미 존재한다.

샌프란시스코에 위치한 싱크탱크인 미국혁신재단(Foundation for American Innovation)의 딘 볼(Dean Ball) 연구원은 “이번 연구 결과와 AI 기반 생물학적 모델링의 급격한 발전을 고려할 때, 핵산 합성에 대한 검사 절차를 강화하면서 동시에 신뢰할 수 있는 검증 메커니즘을 시급히 마련해야 할 것”이라고 말했다.

볼 연구원은 미국 정부가 이미 DNA 주문에 대한 바이오 보안 검사를 핵심적인 보안 문제로 간주하고 있다고 언급했다. 실제로 지난 5월 트럼프 미국 대통령은 생물학 연구 안전성에 관한 행정명령에서 바이오 보안 시스템에 대한 전반적 개편을 요구했다. 다만 백악관은 아직 새로운 권고안을 발표하지 않았다.

일각에서는 공급 업체들이 주문받은 DNA의 위험성을 검사해 판매하는 현재 방식이 악의적 행위를 방지할 수 있는 최선의 안전장치인지에 대해 의문을 제기한다. 캘리포니아 대학교 버클리 캠퍼스의 마이클 코언(Michael Cohen) AI 안전 연구원은 염기서열을 위장하는 방법은 항상 존재할 것이므로 마이크로소프트도 테스트를 더 강화했어야 한다고 생각한다.

코언 연구원은 “마이크로소프트가 설정한 테스트 상황은 그다지 어려워 보이지 않으며, 패치도 제대로 작동하지 않을 때가 많다”고 지적하며 “현재와 같은 시스템은 곧 한계에 부딪힐 것이므로 새로운 전략을 고안해야 한다”고 강조했다.

코언 연구원은 “직접적으로든 아니면 시스템이 제공하는 정보를 통제하는 방식을 통해서든 바이오 보안을 위한 안전장치가 AI 시스템 자체에 내장되어야 할 것”이라고 주장했다.

그러나 클로어 책임자는 공급 업체를 통해 유전자 합성을 모니터링하는 현재 방식이 생물학적 위협을 탐지하는 실용적인 방안이라고 생각한다. 이는 특히 미국 내 DNA 제조 분야의 경우 정부와 긴밀히 협력하는 소수 기업이 지배하고 있기 때문이다. 반면에 AI 모델을 구축하고 학습시키는 데 사용되는 기술은 훨씬 더 널리 퍼져 있다.

클로어 책임자는 “우리 회사를 속여 위험한 DNA 염기서열을 만들게 할 정도의 자원이 있다면 아마 대형언어모델(LLM)도 만들 수 있을 것”이라며 “AI 모델에 바이오 보안 안전장치를 적용하는 것보다 지금처럼 업체에서 감시하는 편이 더 현실적”이라고 주장했다.

The post AI가 바이오 보안 허점 드러내…악용 시 독성 단백질 설계 가능 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.