피카츄가 뛰놀던 AR 거리 데이터, 피자 배달 로봇의 눈이 되다

미국 AI 기업 나이언틱 스페이셜은 포켓몬 고 이용자 데이터를 활용해 GPS가 불안정한 도심에서도 로봇의 위치와 경로를 정확히 파악하도록 지원한다. 증강현실 기술에서 출발한 이 시스템은 이제 실제 환경에서 로봇 안전 운행에 적용되고 있다.

포켓몬 고(Pokémon Go)는 세계 최초의 증강현실 대형 히트작이다. 2016년 구글에서 분사한 나이언틱(Niantic)이 출시한 이 게임은 포켓몬 프랜차이즈에 증강현실을 결합해 단숨에 세계적인 유행을 일으켰다. 시카고, 오슬로, 에노시마 등 전 세계 도시 곳곳에서 수많은 이용자가 거리로 나섰다. 일상 풍경 위에 겹쳐 보이는 푸린이나 꼬부기, 그리고 극히 드물게 등장하는 희귀 포켓몬 가라르 썬더를 잡기 위해서였다.

도심 곳곳에서는 건물을 향해 스마트폰을 들어 올린 사람들이 넘쳐났다. 나이언틱이 지난해 5월 분사해 설립한 AI 기업 나이언틱 스페이셜(Niantic Spatial)의 브라이언 맥클렌던 최고기술책임자(CTO)는 “60일 만에 5억 명이 이 앱을 설치했다”고 말했다. 같은 시기 나이언틱으로부터 포켓몬 고를 인수한 게임 기업 스코플리(Scopely)에 따르면 이 게임은 출시 8년이 지난 2024년에도 여전히 1억 명이 넘는 이용자를 끌어모았다.

나이언틱 스페이셜은 이제 이 방대한 데이터 자산을 새로운 기술 개발에 활용하고 있다. 전 세계 수억 명의 포켓몬 고 이용자 스마트폰에서 수집된 도시 랜드마크 이미지와 초정밀 위치 정보가 결합된 크라우드소싱 데이터를 ‘월드 모델(world model)’ 개발에 활용하고 있는 것이다. 월드 모델은 대형언어모델(LLM )같은 인공지능(AI)이 실제 환경에서 보다 정확하게 상황을 이해하고 상호작용할 수 있도록 돕는 기술로 주목받고 있다.

나이언틱 스페이셜이 최근 공개한 모델은 주변 건물이나 랜드마크를 몇 장 촬영한 사진만으로 사용자의 위치를 지도에서 수 센티미터 오차 범위로 파악할 수 있다. 회사는 이 기술을 GPS 신호가 불안정한 환경에서도 로봇이 보다 정확하게 이동하도록 돕는 데 활용할 계획이다.

나이언틱 스페이셜은 이 기술의 첫 대규모 적용을 위해 코코 로보틱스(Coco Robotics)와 협력에 나섰다. 코코 로보틱스는 미국과 유럽 여러 도시에서 라스트마일 배송 로봇을 운영하는 스타트업이다. 맥클렌던은 “한때는 모두가 증강현실이 미래라고 생각했고, AR 안경이 곧 등장할 것이라고 봤다”며 “하지만 결국 이 기술의 새로운 사용자는 로봇이 됐다”고 말했다.

피카츄에서 시작된 기술, 피자 배달 로봇으로

코코 로보틱스는 로스앤젤레스, 시카고, 저지시티, 마이애미, 헬싱키에서 약 1,000대의 배송 로봇을 운영하고 있다. 배송 로봇은 항공 장비 케이스 정도 크기로, 한 번에 초대형 피자 8판 또는 장바구니 4개 분량의 식료품을 운반할 수 있다. 잭 래시(Zach Rash) 코코 로보틱스 최고경영자(CEO)는 “지금까지 50만 건이 넘는 배송을 수행했고 다양한 기상 조건에서 수백만 마일을 이동했다”고 말했다.

하지만 시속 약 8킬리미터로 보도를 따라 이동하는 이 로봇이 인간 배달원과 경쟁하려면 무엇보다 안정성이 중요하다. 래시는 “우리의 목표는 로봇이 약속한 시간에 정확히 도착하도록 만드는 것”이라며 “그러려면 길을 잃지 않는 것이 가장 중요하다”고 설명했다.

문제는 GPS만으로는 이를 해결하기 어렵다는 점이다. 도심에서는 전파 신호가 건물에 반사되며 서로 간섭하기 때문에 GPS 정확도가 크게 떨어진다. 고층 건물과 지하차도, 고가도로가 많은 밀집 지역에서는 GPS가 제대로 작동하지 않는 경우가 많아서다.

맥클렌던은 “고층 건물이 빽빽한 도심 환경에서는 GPS가 가장 취약하다”며 “휴대전화 지도에 표시되는 파란 점이 50미터씩 밀려 전혀 다른 블록이나 반대편 차선에 나타나는 일도 흔하다”고 밝혔다. 

이 지점에서 나이언틱 스페이셜의 기술이 활용될 수 있다. 나이언틱 스페이셜은 지난 몇 년 동안 2013년에 출시한 모바일 증강현실 게임 인그레스(Ingress)와 포켓몬 고 이용자에게서 수집한 데이터를 바탕으로 시각 위치 인식 시스템을 구축해 왔다.

시각 위치 인식은 사용자가 눈으로 보고 있는 장면을 분석해 현재 위치를 파악하는 기술이다. 존 행크(John Hanke) 나이언틱 스페이셜 CEO는 “피카츄가 현실 세계를 자연스럽게 뛰어다니게 하는 기술과 코코 로봇이 실제 거리에서 안전하고 정확하게 이동하게 하는 기술은 결국 같은 문제”라고 말했다.

디지털 지도와 공간 분석 소프트웨어를 개발하는 기업 ESRI의 콘라드 벤젤(Konrad Wenzel)은 “시각 위치 인식은 완전히 새로운 기술은 아니다”라며 “하지만 주변에 설치된 카메라가 많아질수록 성능이 더 좋아지는 것은 분명하다”고 말했다.

나이언틱 스페이셜은 도시 환경에서 촬영된 300억 장의 이미지로 모델을 학습시켰다. 특히 데이터는 나이언틱 게임에서 중요한 장소로 설정돼 플레이어 방문이 집중됐던 지점에 모여 있다. 예를 들어 포켓몬 배틀이 이루어지는 장소 같은 곳이다. 맥클렌던은 “전 세계에 100만 개가 넘는 지점에서 사용자의 위치를 정밀하게 파악할 수 있다”며 “수 센티미터 수준의 정확도로 사용자가 어디에 서 있는지뿐 아니라 무엇을 바라보고 있는지까지 알 수 있다”고 말했다.

이 덕분에 나이언틱 스페이셜은 이 100만 개 지점 각각에 대해 수천 장의 이미지를 확보하고 있다. 같은 장소에서 촬영됐지만 각도와 시간대, 날씨가 모두 다른 이미지들이다. 각 이미지에는 촬영 당시 스마트폰이 공간상 어디에 있었는지를 보여주는 상세 메타데이터가 포함돼 있다. 휴대전화가 어느 방향을 향하고 있었는지, 어떤 방향으로 세워져 있었는지, 이동 중이었는지, 이동 속도와 방향은 어떠했는지 등의 정보가 기록돼 있다.

회사는 이 데이터세트를 활용해 사용자가 보고 있는 장면을 바탕으로 정확한 위치를 예측하는 모델을 학습시켰다. 이는 데이터가 풍부한 100만 개 주요 지점뿐 아니라, 이미지와 위치 정보가 상대적으로 부족한 다른 지역에서도 작동하도록 설계됐다.

코코의 배송 로봇에는 네 개의 카메라가 장착돼 있다. 앞으로 이 로봇들은 GPS뿐 아니라 나이언틱 스페이셜의 모델을 함께 활용해 현재 위치와 이동 경로를 파악하게 된다. 로봇 카메라는 사람의 허리 높이에 위치하며 모든 방향을 동시에 촬영하기 때문에 포켓몬 고 플레이어의 시점과는 다소 차이가 있다. 래시는 “데이터를 적용하는 과정도 크게 어렵지 않았다”고 말했다.

경쟁 기업들도 시각 위치 인식 기술을 활용하고 있다. 예를 들어 2014년 에스토니아에서 설립된 배송 로봇 기업 스타십 테크놀로지스(Starship Technologies)는 로봇 센서를 이용해 건물 가장자리, 가로등 위치 등 주변 환경의 3차원 지도를 구축한다.

그러나 래시는 나이언틱 스페이셜의 기술이 코코 로보틱스에 경쟁 우위를 가져다줄 것으로 보고 있다. 그는 “이 기술을 통해 로봇이 식당 앞 정확한 픽업 지점에 정차해 보행자의 동선을 방해하지 않도록 하고, 이전처럼 몇 걸음 떨어진 곳이 아니라 고객의 문 바로 앞에 멈출 수 있게 될 것”이라고 말했다.

로봇 산업의 격변기

행크는 “나이언틱 스페이셜이 시각 위치 인식 시스템 개발에 착수했을 당시만 해도 이 기술의 주된 용도는 증강현실이었다”고 설명했다. 그는 이어 “AR 안경을 쓴 상태에서 디지털 이미지가 사용자가 바라보는 실제 환경과 정확히 맞물리려면 이를 정렬해 줄 기술이 필요하다”며 “지금 로봇 산업은 여러 혁신 기술이 동시에 빠르게 발전하는 격변기를 맞고 있다”고 덧붙였다.

이 가운데 일부 로봇은 건설 현장이나 보도처럼 인간과 공간을 공유해야 한다. 행크는 “배송 로봇이 인간에게 방해가 되지 않는 방식으로 이런 환경에 자연스럽게 들어오려면 사람과 비슷한 수준의 공간 이해 능력을 갖춰야 한다”며 “우리는 로봇이 부딪치거나 밀린 뒤에도 정확히 자신의 위치를 다시 파악하도록 도울 수 있다”고 말했다.

코코 로보틱스와의 협력은 그 출발점이다. 행크에 따르면 나이언틱 스페이셜이 구축하려는 것은 ‘살아 있는 지도’의 초기 형태이다. 이는 현실 세계가 변하는 만큼 함께 갱신되는 초정밀 가상 시뮬레이션을 뜻한다. 코코를 비롯한 여러 기업의 로봇이 실제 공간을 이동하며 수집한 데이터는 지도에 반영되고, 이는 점점 더 정교한 디지털 세계 복제본으로 발전하게 된다.

행크와 브라이언 맥클렌던은 지도 자체의 역할도 바뀌고 있다고 본다. 지도는 갈수록 정밀해지고 있을 뿐 아니라 점점 더 많은 기계가 이를 활용하며 지도의 목적을 재정의하고 있다. 지도는 오랫동안 사람이 자신의 위치를 파악하는 도구였다. 2차원 지도에서 3차원 지도, 나아가 디지털 트윈과 같은 실시간 시뮬레이션을 포함하는 4차원 지도로 발전했지만 기본 원리는 변하지 않았다. 지도 위의 점은 현실 공간이나 특정 시점과 대응한다는 것이다.

그러나 기계를 위한 지도는 사람에게는 당연한 정보를 일종의 안내서처럼 담아야 할지도 모른다. 나이언틱 스페이셜과 ESRI 같은 기업은 기계가 보고 있는 대상을 이해할 수 있도록 객체마다 속성 정보를 부여하는 방식을 모색하고 있다. 행크는 “지금은 기계가 이해할 수 있도록 세계를 설명하는 데이터를 구축하는 시대”라며 “우리가 보유한 데이터는 세계가 어떻게 서로 연결돼 작동하는지를 이해하는 출발점이 된다”고 말했다.

최근 ‘월드 모델’ 기술은 큰 주목을 받고 있다. 나이언틱 스페이셜 역시 이를 의식하고 있다. LLM은 모든 것을 아는 것처럼 보이지만, 일상 환경을 해석하고 상호작용하는 데 필요한 상식은 거의 갖추지 못했다. 월드 모델은 이러한 한계를 보완하려는 접근이다. 구글 딥마인드(DeepMind)와 월드 랩스(World Labs) 같은 기업은 가상의 세계를 즉석에서 생성하는 모델을 개발하고 있으며, 이는 AI 에이전트를 훈련하는 실험 공간으로 활용될 수 있다.

나이언틱 스페이셜은 다른 방식으로 접근하고 있다. 맥클렌던은 지도 제작을 극한까지 밀어붙이면 결국 현실 세계의 거의 모든 것을 포착할 수 있을 것이라고 본다. 그는 “나는 현실 세계를 다시 만들어 내는 데 집중하고 있다”며 “아직 그 단계에 도달하지는 못했지만 반드시 도달하고 싶은 목표”라고 말했다.

The post 피카츄가 뛰놀던 AR 거리 데이터, 피자 배달 로봇의 눈이 되다 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.