숨겨졌던 AI 프롬프트 전력 사용량, 구글이 처음 공개했다

구글이 ‘제미나이’의 질의당 에너지 사용량을 처음 공개했다. 빅테크 기업이 AI 자원 소비량을 투명하게 밝힌 첫 사례로, 연구자들이 오래 기다려 온 자료라는 평가가 나온다.

구글이 인공지능(AI) 서비스 ‘제미나이(Gemini)’의 ‘질의(query)’ 한 건에 드는 에너지 사용량을 담은 기술 보고서를 내놨다. 보고서에 따르면 에너지 수요 분포의 정중앙에 해당하는 ‘중간값 질의’는 0.24와트시의 전력을 소비하는 것으로 나타났다. 이는 가정용 전자레인지를 1초간 가동했을 때와 맞먹는 수준이다. 구글은 이와 함께 텍스트 질의 한 건당 발생하는 평균 물 사용량과 탄소 배출량 추정치도 공개했다.

이번 보고서는 세계적으로 널리 쓰이는 AI 서비스를 운영하는 빅테크 기업이 내놓은 가장 투명한 수치라는 점에서 의미가 크다. 최종 추정치가 도출된 과정 역시 상세히 담겼다. AI 활용이 급속히 확산되면서 에너지 소비에 대한 관심이 높아지고 있지만, 지금까지는 대형 기술 기업의 내부 운영에 접근하기 어려워 실제 전력 사용량을 직접 측정하려는 시도는 번번이 좌절돼 왔다.

올해 초 MIT 테크놀로지 리뷰가 AI와 에너지 문제를 집중적으로 다룬 기획 시리즈를 발표했을 당시에도 주요 AI 기업 중 질의당 에너지 사용량을 공개한 곳은 없었다. 구글의 이번 발표가 연구자와 분석가들이 오랫동안 기다려 온 ‘막후의 수치’를 드러냈다는 점에서 주목받는 이유다.

이번 연구는 AI 모델을 구동하는 칩의 전력 소모에 그치지 않고 이를 뒷받침하는 인프라 전체를 포함해 에너지 수요 전반을 분석했다. 제프 딘(Jeff Dean) 구글 최고과학자는 MIT 테크놀로지 리뷰와의 단독 인터뷰에서 “우리는 가능한 모든 요소를 빠짐없이 포함하려 했다”고 설명했다.

주목할 만한 점은 이번 측정에서 AI 칩, 즉 여기서는 구글이 자체 설계한 GPU 유사 칩인 TPU(Tensor Processing Unit)가 전체 전력 사용량 0.24와트시 중 단 58%만 차지했다는 점이다.

나머지 상당한 부분의 에너지는 AI 전용 하드웨어를 지원하는 장비에서 사용되는 것으로 나타났다. 예를 들어, 호스트 머신(host machine)의 CPU와 메모리는 전체 에너지 사용량의 약 25%를 차지했다. 장비 고장에 대비해 준비해 두는 백업 장비는 전체 에너지의 약 10%를 사용했고, 마지막으로 데이터센터 운영과 관련된 간접 비용, 즉 냉각 장치나 전력 변환 등에 사용되는 에너지가 전체의 약 8%를 차지했다.

AI 모델의 에너지 소비를 추적하는 ML.에너지 리더보드(ML.Energy leaderboard)의 공동 책임자인 미시간대학교 모샤라프 초두리(Mosharaf Chowdhury) 교수는 “이번 보고서는 에너지와 AI 연구에서 산업계의 기여 가치가 얼마나 큰지를 보여준다”고 말했다.

구글이 내놓은 이런 추정치는 대규모로 서비스를 운영하고 내부 정보를 확보할 수 있는 기업만이 자체적으로 산출할 수 있다. ML.에너지 리더보드 공동 책임자인 미시간대학교 정재원(Jae-Won Chung) 박사과정 연구원은 “이번 보고서는 AI 에너지 분야의 핵심 이정표가 될 것”이라며 “지금까지 나온 분석 가운데 가장 포괄적이다”라고 강조했다.

다만 이번 수치가 제미나이의 모든 질의를 대표하는 것은 아니다. 구글은 매우 다양한 요청을 처리하는데, 이번 추정치는 그중에서도 에너지 사용량 분포의 중앙에 해당하는 ‘중간값 질의’를 기준으로 산출됐기 때문이다.

일부 질의는 이보다 훨씬 많은 에너지를 소모한다. 제프 딘은 “수십 권의 책을 입력하고 전체 내용을 요약해 달라는 것과 같은 질의는 중간값 질의보다 훨씬 많은 에너지를 필요로 할 것”이라고 설명했다. 그는 또 “여러 단계를 거쳐 답을 도출하는 추론형 모델을 사용할 경우에도 에너지 수요는 더 커질 수 있다”고 덧붙였다.

이번 보고서는 텍스트 질의에만 한정돼 있어 이미지나 영상 생성에 필요한 에너지는 포함하지 않았다.

또 보고서는 제미나이 질의당 총에너지 사용량이 시간이 흐르면서 크게 줄었다는 사실도 보여준다. 구글에 따르면 2024년 5월의 중간값 질의는 2025년 5월보다 33배 많은 에너지를 사용했다. 회사는 모델 성능 개선과 소프트웨어 최적화를 주요 원인으로 꼽았다. 구글은 아울러 중간값 질의에 따른 온실가스 배출량도 추정했다. 질의에 사용된 전체 전력량에 전력 단위당 평균 배출량을 곱해 계산한 결과, 이산화탄소 0.03그램이라는 수치가 나왔다.

구글은 미국 전력망 평균이나 자사가 운영하는 지역 전력망 평균을 기준으로 한 추정치 대신, 청정에너지 프로젝트에서 직접 구매한 전력을 반영한 ‘시장 기반 추정치’를 사용했다. 구글은 2010년 이후 태양광, 풍력, 지열, 차세대 원자력 등에서 22기가와트가 넘는 전력을 구매하기로 계약했으며, 그 결과 구글이 계산한 전력 단위당 탄소 배출량은 실제 운영 지역 전력망 평균의 약 3분의 1 수준으로 낮아졌다.

AI 데이터센터는 냉각 과정에서 물도 사용한다. 구글은 제미나이 질의 한 건이 평균 0.26밀리리터, 즉 약 다섯 방울의 물을 소비한다고 추정했다. 제프 딘은 “이번 작업의 목표는 사용자가 AI와 상호작용할 때 소모되는 에너지를 직접 들여다볼 수 있게 하는 데 있다”며 “사람들이 AI를 다양한 용도로 활용하고 있지만 제미나이 모델의 에너지나 물 소비에 대해 지나치게 걱정할 필요는 없다”고 설명했다. 그는 이어 “실제 측정 결과 소비량은 사람들이 일상에서 무심코 하는 일과 비슷한 수준이었다”며 “예를 들어 몇 초간 TV를 시청하거나 물 다섯 방울을 마시는 정도와 같다”고 말했다.

이번 발표는 AI의 자원 사용 실태에 대한 공공 정보를 크게 넓힌 것으로 평가된다. 최근 기업들이 AI 기술의 에너지 비용을 더 투명하게 공개해야 한다는 압력이 높아지는 가운데 나온 조치이기도 하다. 

허깅페이스(Hugging Face)에서 AI와 기후 문제를 연구하는 사샤 루치오니(Sasha Luccioni)는 “구글이 이 자료를 공개해 정말 기쁘다”며 “사람들은 AI 사용에 따른 비용을 알고 싶어한다”고 말했다. 그녀는 또 “이번 보고서는 지금까지 공개된 것보다 훨씬 많은 정보를 담고 있어 실제 빅테크 기업이 대규모로 운영하는 AI 사용을 이해하는 데 큰 도움이 된다”고 덧붙였다.

그러나 보고서에는 여전히 빠진 부분도 있다. 대표적인 것이 제미나이가 하루에 처리하는 전체 질의 수다. 이 수치가 공개된다면 AI의 총에너지 수요를 가늠할 수 있을 것이다.

궁극적으로 어떤 세부 정보를 언제, 어떤 방식으로 공개할지는 여전히 기업의 판단에 달려 있다. 루치오니는 “가전제품에 에너지 효율 등급이 있듯 AI에도 표준화된 에너지 점수를 도입해야 한다고 요구해 왔다”며 “이번 보고서는 그런 표준화된 비교 지표를 대체하거나 대신할 수 있는 것은 아니다”라고 지적했다.

The post 숨겨졌던 AI 프롬프트 전력 사용량, 구글이 처음 공개했다 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.