생성형 AI를 활용한 악성코드와 사기 수법이 빠르게 확산되며 사이버 범죄의 진입 장벽이 낮아지고 있다. 전문가들은 완전 자동화 공격은 아직 제한적이지만, AI가 범죄의 효율성과 파급력을 크게 높이고 있다고 경고한다.
지난해 8월 말 보안 전문가 안톤 체레파노프(Anton Cherepanov)는 악성 코드 감지 플랫폼 ‘바이러스토털(VirusTotal)’에 업로드된 한 파일에서 심상치 않은 신호를 포착했다. 겉보기에는 평범했지만 그가 자체적으로 만든 악성코드 탐지 시스템이 이상 징후를 감지한 것이다. 체레파노프는 동료 피터 스트리체크(Peter Strýček)와 함께 몇 시간에 걸쳐 샘플을 정밀 분석했고, 그 과정에서 이전에는 접한 적 없는 유형의 코드라는 사실을 확인했다.
파일 안에는 랜섬웨어가 숨어 있었다. 랜섬웨어는 피해자의 시스템에 저장된 파일을 암호화해 사용할 수 없게 만든 뒤, 이를 복구하는 대가로 공격자에게 금전을 요구하는 악성코드다. 그러나 이번 사례가 특히 주목받은 이유는 대형언어모델(LLM)을 공격 전 과정에 걸쳐 활용했다는 점이었다. 단순히 일부 기능에 인공지능(AI)을 적용한 것이 아니라, 공격 전 과정에 LLM이 핵심 역할을 수행하도록 설계돼 있었다.
이 악성코드는 설치되는 즉시 LLM을 호출해 실시간으로 맞춤형 코드를 생성하고, 감염된 컴퓨터를 빠르게 분석해 복사하거나 암호화할 민감 정보를 식별하며, 파일 내용에 맞춰 개인화된 협박 메시지까지 작성할 수 있었다. 이 모든 과정은 사람의 개입 없이 자동으로 이뤄졌고, 실행될 때마다 작동 방식이 달라져 탐지를 더욱 어렵게 만들었다.
체레파노프와 스트리체크는 이 악성코드 샘플을 ‘프롬프트락(PromptLock)’이라 명명하고, 생성형 AI가 악성코드의 성격 자체를 바꿔놓을 수 있는 전환점이 될 가능성에 주목했다. 공격의 전 과정을 상황에 맞게 조정하고 스스로 적응하는 형태의 악성코드가 구현될 수 있음을 보여준 사례라고 판단한 것이다. 두 사람은 이를 AI 기반 랜섬웨어의 첫 사례로 규정한 블로그 글을 공개했고, 해당 글은 곧 전 세계 언론의 집중적인 관심을 받았다.
그러나 상황은 예상만큼 극적으로 흘러가지 않았다. 블로그가 공개된 다음 날, 뉴욕대학교 연구진이 해당 악성코드의 제작자임을 밝히며 해명에 나섰다. 연구진은 “이 코드는 실제로 무차별 배포된 공격이 아니라 연구 프로젝트의 일환으로 제작된 것이며, 랜섬웨어 공격의 각 단계를 자동화하는 것이 기술적으로 가능하다는 점을 입증하기 위한 실험이었다”며 “ 그 가능성을 성공적으로 확인했다”고 설명했다.
그러나 프롬프트락이 학술 실험에 그쳤다고 해서 위협이 사라진 것은 아니다. 현실의 범죄자들은 이미 최신 AI 도구를 활용해 공격의 효율을 높이고 있기 때문이다. 소프트웨어 엔지니어가 AI로 코드를 작성하고 오류를 점검하듯, 해커들 역시 AI를 통해 공격 설계에 드는 시간과 노력을 줄이고 있으며, 그 결과 숙련도가 높지 않은 공격자도 이전보다 훨씬 쉽게 사이버 공격을 시도할 수 있는 환경이 형성되고 있다.
로렌조 카발라로(Lorenzo Cavallaro) 유니버시티 칼리지 런던 컴퓨터과학과 교수는 “사이버 공격이 앞으로 더 빈번해지고 더 정교해질 가능성은 단순한 가정이 아니라 명백한 현실”이라고 경고했다. 일각에서는 AI가 머지않아 완전히 자동화된 공격을 수행할 수 있을 것이라는 우려도 제기된다.
그러나 보안 전문가 대부분은 이런 전망이 지나치게 앞서 나간 해석이라고 본다. 2017년 전 세계를 강타한 랜섬웨어 ‘워너크라이(WannaCry)’ 확산을 저지한 인물로 알려진 마커스 허친스(Marcus Hutchins) 엑스펠(Expel) 수석 위협 연구원은 “이유는 모르겠지만 모두가 ‘AI 슈퍼 해커’라는 시나리오에만 집착하고 있다”며 “정말 터무니 없는 상상”이라고 선을 그었다.
전문가들은 오히려 이미 현실에서 벌어지고 있는 변화에 더 주목해야 한다고 강조한다. AI는 사기 수법을 빠르게 고도화하고 대규모로 확산시키는 데 활용되고 있다. 범죄자들은 최신 딥페이크 기술을 이용해 특정 인물을 정교하게 사칭하고, 피해자로부터 거액을 빼돌리는 사례를 늘려가고 있다. AI가 결합된 사이버 공격은 앞으로 더욱 빈번해지고 파괴적인 양상으로 전개될 가능성이 크며, 이에 대한 대비가 필요하다는 지적이 이어지고 있다.
스팸을 넘어선 AI 범죄
공격자들은 2022년 말 챗GPT가 등장하자마자 생성형 AI 도구를 빠르게 흡수했다. 그 시작은 예상대로 대규모 스팸이었다. 마이크로소프트는 지난해 보고서에서 “2025년 4월까지 1년 동안 40억 달러 규모의 사기 및 부정 거래를 차단했다”며 “그 가운데 상당수는 AI로 생성된 콘텐츠가 활용됐을 가능성이 크다”고 분석했다.
챗GPT 출시 전후에 수집된 약 50만 건의 악성 메시지를 분석한 컬럼비아대학교, 시카고대학교, 보안 기업 바라쿠다 네트웍스(Barracuda Networks) 연구진은 “스팸 이메일의 절반 이상이 LLM을 활용해 작성된 것으로 추정된다”고 밝혔다. 연구진은 동시에 AI가 점점 더 정교한 사기 수법에 활용되고 있다는 정황도 확인했다. 조직 내 신뢰받는 인물을 사칭해 직원을 속이고 자금이나 민감 정보를 탈취하는 표적형 이메일 공격을 분석한 결과, 2025년 4월 기준 해당 유형의 공격 가운데 최소 14%가 LLM으로 생성된 것으로 나타났다. 이는 2024년 4월의 7.6%에서 크게 증가한 수치다.
영국의 엔지니어링 기업 직원이 회사 최고재무책임자(CFO)와 동료들의 디지털 복제본이 등장한 화상 통화에 속아 2,500만 달러를 범죄자들에게 송금한 사례가 있었다.
생성형 AI의 영향은 이메일에만 그치지 않는다. 이미지와 영상, 음성까지 훨씬 더 사실적으로 만들어낼 수 있는 환경이 조성됐고, 제작 비용과 난이도는 눈에 띄게 낮아졌다. 특정 인물의 얼굴이나 목소리를 모방하는 데 필요한 데이터 역시 과거보다 현저히 줄었다.
헨리 아이더(Henry Ajder) 생성형 AI 전문가는 “범죄자들이 이런 딥페이크를 사용하는 이유는 장난이나 호기심 때문이 아니라 돈이 되기 때문”이라며 “수익이 발생하고 사람들이 계속 속는 한 이런 수법은 사라지지 않을 것”이라고 말했다.
실제로 2024년 보도된 한 사건에서는 영국의 엔지니어링 기업 아럽(Arup)의 한 직원이 회사 최고재무책임자(CFO)와 동료들의 디지털 복제본이 등장한 화상 통화에 속아 2,500만 달러를 범죄자들에게 송금했다. 하지만 이는 빙산의 일각일 가능성이 크다. 기술이 고도화되고 활용 범위가 넓어질수록 설득력 있는 딥페이크가 초래하는 피해 역시 더욱 심각해질 전망이다.
BRIAN STAUFFER
범죄자들의 수법은 끊임없이 진화한다. AI의 역량이 높아질수록 이들은 새로 등장한 기능을 어떻게 활용할 수 있을지 집요하게 시험한다.
빌리 레너드(Billy Leonard) 구글 위협분석그룹(Threat Analysis Group) 기술 책임자는 해커 등 범죄 목적의 사이버 행위자를 지칭하는 업계 용어 ‘배드 액터(bad actor)’의 움직임을 추적해 왔다. 그는 2024년 하반기부터 의미 있는 변화를 포착했다. 잠재적 범죄자들이 제미나이 같은 AI 도구를 일반 사용자와 크게 다르지 않은 방식으로 활용하기 시작했다는 것이다. 코드 오류를 수정하고, 작업 일부를 자동화하며, 간단한 피싱 이메일을 작성하는 데 AI를 동원했다. 레너드는 “2025년에 들어서는 AI를 활용해 새로운 악성코드를 제작하고 이를 실제 환경에 배포하는 단계까지 나아갔다”고 말했다.
이제 남은 질문은 이런 악성코드가 어디까지 진화할 수 있느냐는 점이다. 언젠가는 수천 개 기업 시스템에 은밀히 침투해 수백만 달러를 빼돌리면서도 전혀 탐지되지 않는 수준에 이를 수 있을까.
대다수의 주요 AI 모델에는 악성 코드나 불법 콘텐츠 생성을 차단하기 위한 안전장치가 내장돼 있다. 그러나 공격자들은 언제나 그 빈틈을 파고든다. 구글은 중국과 연계된 것으로 추정되는 한 행위자가 제미나이에 특정 시스템의 취약점을 찾아달라고 요청한 사례를 확인했다. 모델은 안전상의 이유로 이를 거부했지만, 공격자가 자신을 사이버 보안 대회 ‘캡처 더 플래그(Capture the Flag)’ 참가자라고 속이며 상황을 설정하자 제미나이는 결국 규칙을 우회해 관련 정보를 제공했다. 이런 교묘한 탈옥(jailbreaking) 시도는 시스템을 악용하는 데 활용될 수 있는 정보를 끌어내는 결과로 이어졌다. 구글은 이후 유사한 요청을 차단하도록 제미나이를 보완했다고 밝혔다.
그러나 공격자들이 거대 AI 기업의 모델을 우회하는 데만 주력하는 것은 아니다. 애슐리 제스(Ashley Jess) 인텔471(Intel 471) 수석 정보 분석가는 “오픈소스 모델은 안전장치를 제거하거나 완화하기가 상대적으로 쉬워 공격 목적에 맞게 조정하기 수월하다”며 “탈옥을 통해 필요에 맞게 맞춤화할 수 있기 때문에 공격자들이 앞으로 오픈소스 모델을 선택할 가능성이 높다”고 설명했다.
뉴욕대학교 연구진 역시 프롬프트락 실험에서 오픈AI의 오픈소스 모델 두 개를 활용했다. 연구진은 “모델을 원하는 방식으로 작동시키는 데 굳이 탈옥 기법을 동원할 필요조차 없었다”고 밝혔다. 공격의 문턱이 그만큼 낮아졌다는 의미다.
미트 우데시(Meet Udeshi) 뉴욕대학교 박사과정 연구원은 “이들 오픈소스 모델에도 윤리적 기준이 반영돼 있기는 하지만 폐쇄형 모델만큼 제약이 강력하지 않다”고 설명했다. 이어 “우리가 시험하려 한 것도 바로 그 지점이었다”며 “이 LLM이 윤리 원칙에 따라 작동한다고 하지만 실제로 오용이 가능한지 검증해 본 결과, 충분히 악용될 수 있다는 사실을 확인했다”고 말했다.
우데시는 또 “범죄자들이 이미 프롬프트락과 유사한 은밀한 공격을 성공적으로 수행했을 가능성도 배제할 수 없다”며 “우리가 아직 그 증거를 발견하지 못했을 뿐일 수 있다”고 덧붙였다. 만약 그렇다면 이론적으로는 완전 자율형 해킹 시스템이 이미 등장했을 가능성도 있다. 다만 이를 현실에서 구현하려면 AI 모델을 일관되게 원하는 방향으로 작동시키는 기술적 난관을 넘어야 하고, 모델에 내장된 악용 방지 장치를 우회해야 하며, 동시에 탐지도 피해 가야 한다. 결코 낮지 않은 장벽이다.
해커들의 생산성 도구
아이러니하게도 현재 AI가 악의적으로 활용되는 방식에 대해 가장 구체적인 데이터를 내놓고 있는 주체는 대형 AI 기업들이다. 그리고 그 내용은 얼핏 보면 상당히 위협적으로 들린다.
지난해 11월 레너드 연구팀은 보고서를 통해 “악성 행위자들이 제미나이를 포함한 AI 도구를 활용해 악성코드의 동작을 동적으로 변경하고 있다”고 밝혔다. 탐지를 피하기 위해 실행 중 스스로 코드를 수정하도록 만드는 방식도 포함됐다. 보고서는 이를 두고 “AI 남용이 새로운 단계에 접어들었다”고 표현했다.
그러나 이 같은 진단에 모두가 동의한 것은 아니다. 케빈 보몬트(Kevin Beaumont) 사이버 보안 작가는 소셜미디어에서 “보고서가 분석한 프롬프트락을 포함한 다섯 개 악성코드 계열은 모두 쉽게 탐지됐고 실질적인 피해도 발생하지 않았다”고 지적했다. 이어 “조직이 기존의 기본 보안 프로그램을 수정해야 할 필요가 있다는 근거도 제시되지 않았다”며 “보안 체계는 의도한 대로 작동했다”고 덧붙였다.
이에 대해 레너드는 “이 같은 악성코드 활동이 아직 초기 단계라는 점은 인정한다”면서도 보고서 공개의 필요성을 강조했다. 그는 “이런 사례를 투명하게 공유함으로써 보안 업체와 관련 기관이 더 강력한 방어 체계를 구축할 수 있다면, 향후 더 위험한 AI 기반 공격을 예방하는 데 도움이 될 수 있다”고 설명했다. 이어 “진부한 표현일지 모르지만 햇빛이 최고의 소독제”라며 “이를 숨겨두는 것은 아무 도움이 되지 않는다. 업계 전반이 사례를 인지하고 탐지 역량을 강화하길 바란다”고 말했다.
잠재적 공격자들의 실험은 새로운 악성코드 제작에만 머물지 않는다. 해킹 과정 자체를 자동화하려는 시도도 나타나고 있다. 지난해 11월 앤트로픽은 “상당한 인간 개입 없이 수행된 것으로 보고된 대규모 사이버 공격을 차단했다”고 발표했다. 회사는 구체적인 기법은 공개하지 않았지만 “중국 정부와 연계된 한 집단이 자사의 코드 보조 도구 ‘클로드 코드(Claude Code)’를 활용해 고도로 정교한 첩보 작전의 최대 90%를 자동화했다”고 밝혔다.
“이제 정교한 사이버 작전의 진입 장벽이 근본적으로 낮아지는 시대에 접어들고 있으며, 공격 속도는 많은 조직이 대비한 수준보다 더 빠르게 가속화될 것” 제이콥 클라인 앤트로픽 위협 인텔리전스 총괄
그러나 이 사례 역시 전면적 자율 공격의 실현을 의미하지는 않았다. 취약점 식별을 클로드에 맡기기 전 목표 대상을 선정한 것은 AI가 아니라 인간 운영자였고, 30차례 시도 가운데 실제 성공은 소수에 그쳤다. 앤트로픽 보고서에 따르면 클로드는 작전 과정에서 존재하지 않는 자격 증명을 확보했다고 주장하는 등 환각 현상을 보였고, 결과를 과장하는 경우도 빈번했다. 결국 공격자들은 출력된 정보를 일일이 검증해야 했으며, 이는 완전 자율형 사이버 공격이 여전히 기술적 제약에 묶여 있음을 보여준다.
버지니아에 위치한 베리빌 머신러닝 연구소(Berryville Institute of Machine Learning) 공동 설립자이자 보안 분야 베테랑인 게리 맥그로(Gary McGraw)는 “합리적인 수준의 보안 통제를 갖춘 조직이라면 이런 공격은 충분히 차단할 수 있다”고 말했다. 그는 “취약점 악용과 같은 악성 공격의 핵심 단계는 AI가 수행한 것이 아니라 이미 존재하던 자동화 도구를 활용한 것”이라며 “그런 자동화는 20년 전부터 이뤄져 왔다”고 설명했다. 이어 “이번 사례에서 특별히 새롭거나 창의적인 요소를 찾기는 어렵다”고 덧붙였다.
반면 앤트로픽은 이를 변화의 전조로 본다. 제이콥 클라인(Jacob Klein) 앤트로픽 위협 인텔리전스 총괄은 “해킹의 여러 단계를 AI가 하나의 흐름으로 묶어 자동으로 수행하도록 만든 사례는 전례가 없다”며 “인간이 직접 수행하던 노동집약적 작업을 대규모로 확장 가능한 방식으로 전환했다”고 밝혔다. 그는 “정교한 사이버 작전의 진입 장벽이 근본적으로 낮아지고 있으며, 공격 속도는 많은 조직이 대비한 수준을 넘어설 수 있다”고 경고했다.
그러나 모든 전문가가 이런 위기감을 공유하는 것은 아니다. 허친스는 “AI에 대한 과도한 기대가 업계에서 모델의 현재 역량을 과대평가하게 만들었다”고 지적한다. 그는 “‘보안을 압도하는 멈출 수 없는 AI’라는 서사를 전제하고 미래를 예측하는 경향이 있다”며 “하지만 현재 AI의 능력은 그런 요건을 충족하지 못하고, 이를 뒷받침할 증거도 없다”고 말했다.
BRIAN STAUFFER
적어도 현재까지는 범죄자들이 AI를 전면적인 공격 자동화보다는 생산성 향상 수단으로 활용하는 경우가 더 많아 보인다. LLM을 이용해 악성 코드를 작성하거나, 피싱 문구를 만들고, 사전 정찰을 수행하거나, 언어를 번역하는 식이다.
제스는 “이런 유형의 활동을 자주 목격하고 있으며, 관련 도구를 지하 범죄 시장에서 판매하려는 움직임도 이어지고 있다”고 설명했다. 예컨대 여러 스팸의 클릭률을 비교해 어떤 공격이 가장 효과적인지 실시간으로 분석해 주는 피싱 키트도 유통되고 있다. 그는 “이러한 움직임이 이른바 ‘AI 슬롭 환경’에서는 활발히 나타나고 있지만, 고도로 숙련된 기술 집단이 이를 대규모로 채택하는 양상은 아직 두드러지지 않는다”고 덧붙였다.
그러나 공격이 정교하지 않다고 해서 위협이 약해지는 것은 아니다. 사이버 보안 기업 NCC 그룹(NCC Group)의 리즈 제임스(Liz James) 보안 컨설턴트는 “완벽하지는 않더라도 ‘충분히 괜찮은’ 결과를 만들어내는 모델만으로도 공격자는 과거보다 훨씬 많은 사람을 동시에 노릴 수 있다”고 말했다. 그는 “산탄총식으로 대량의 피싱 메일을 발송하다가 방어 체계가 취약한 시스템에 도달하면, 모델이 비교적 능숙하게 하드드라이브를 암호화할 수 있다”며 “그 순간 공격자의 목적은 이미 달성된 것”이라고 설명했다.
방어의 최전선
현재 연구자들 대부분은 이러한 위협이 AI를 활용해 만들어졌는지와 관계없이 충분히 방어 가능하다는 입장이다. 레너드는 “특히 악성코드 대응 측면에서 지난 10여 년간 권고해 온 방어 체계와 역량, 모범 사례는 여전히 유효하다”고 말했다. 기존 바이러스 탐지 시스템과 침입 차단 프로그램은 지금도 효과적으로 작동하고 있으며, 상당수의 피싱 이메일 역시 스팸 필터 단계에서 걸러진다. 적어도 현 단계에서는 전통적인 보안 수단이 대체로 제 역할을 하고 있다는 평가다.
흥미로운 점은 AI가 위협의 원천이 되는 동시에 방어 수단으로도 활용되고 있다는 사실이다. 방대한 데이터 속에서 패턴과 상관관계를 포착하는 데 강점을 지닌 AI는 이미 보안 영역의 핵심 도구로 자리 잡았다. 바수 자칼(Vasu Jakkal) 마이크로소프트 보안 부문 부사장은 “마이크로소프트는 매일 AI 시스템이 잠재적으로 악성 또는 의심스러운 이벤트로 분류한 100조 건이 넘는 신호를 처리하고 있다”고 밝혔다.
사이버 보안 환경이 빠르게 변화하는 가운데, 제스는 방어자들 사이의 정보 공유가 활발히 이뤄지고 있다는 점을 긍정적으로 평가한다. 미국 비영리 연구기관 마이터의 ‘AI 시스템에 대한 적대적 위협 지형’과 글로벌 비영리 재단 OWASP의 ‘GenAI 보안 프로젝트’는 잠재적 범죄자들이 AI를 어떻게 공격에 활용하는지, 또 AI 시스템이 어떤 방식으로 표적이 되는지를 정리한 대표적 사례다. 제스는 “조직 내부의 AI 도구를 보호하는 방법과, 범죄자 손에 들어간 AI가 초래할 수 있는 위협을 이해하는 데 도움이 되는 자료들이 이미 마련돼 있다”고 말했다.
프롬프트락은 제한된 대학 연구 프로젝트였던 만큼 실제 환경에서 벌어질 공격을 그대로 재현한 사례라고 보기는 어렵다. 그러나 이 실험이 던진 메시지는 분명하다. AI의 기술적 역량을 과소평가해서는 안 된다는 점이다. 우데시는 “표적 시스템을 탐색하고 침투 경로를 찾아내는 단계부터 피해자 맞춤형 협박 문구를 작성하는 단계까지 공격 전 과정을 AI가 얼마나 매끄럽게 처리하는지에 놀랐다”며 “초기 단계는 잘 수행하겠지만 이후 어딘가에서 한계를 드러낼 것이라 예상했는데 전체 과정에서 80~90%에 달하는 높은 성공률을 확인했다”고 말했다.
AI는 지금 이 순간에도 빠른 속도로 진화하고 있다. 불과 몇 년 전만 해도 공상에 가까웠던 기능들이 이미 현실이 됐다. 그렇기에 앞으로 무엇이 가능해지고 무엇이 한계로 남을지 단정하기는 쉽지 않다.
연구자들은 AI 기반 공격이 규모와 파급력 면에서 확대될 가능성에는 대체로 공감하지만, 구체적인 전개 양상을 예측하기는 어렵다고 말한다. 가장 극단적인 시나리오는 AI 모델이 아직 공개되지 않은 소프트웨어 취약점을 스스로 찾아내 악용하는 고위험 공격, 이른바 ‘제로데이 익스플로잇’을 생성하고 자동화하는 경우다. 그러나 허친스는 “그런 모델을 개발하고 운영하면서 탐지까지 피해 가려면 수십억 달러 규모의 투자가 필요할 것”이라며 “현실적으로는 자금력이 막대한 국가 단위 행위자만이 감당할 수 있는 영역”이라고 말했다.
보스턴 노스이스턴대학교에서 악성코드 탐지와 분석을 연구하는 엔긴 키르다(Engin Kirda) 교수는 “이 같은 시도가 이미 진행 중일 가능성도 배제할 수 없다”며 “누군가는 분명히 투자하고 있을 것이고, 특히 AI 역량이 뛰어난 중국에서는 이미 이런 연구가 이뤄지고 있을 수 있다”고 말했다.
물론 이는 다소 섬뜩한 전망이다. 다행히 아직까지는 이론적 가능성에 머물러 있으며, 명확히 AI가 주도한 것으로 확인된 대규모 공격은 보고되지 않았다. 다만 분명한 사실은 생성형 AI가 이미 범죄의 진입 장벽을 상당히 낮추고 있다는 점이다. 범죄자들은 새로운 모델과 업데이트가 나올 때마다 이를 시험하며 더 많은 정보를 빼내고 더 많은 돈을 가로채기 위한 새로운 수법을 끊임없이 모색할 것이다. 당분간 우리가 할 수 있는 일은 경계를 늦추지 않고 신중하게 대응하는 것, 그리고 무엇보다 시스템을 제때 업데이트하는 것뿐이다.
