구글, 엔비디아, 스탠퍼드 석학, 심지어 제프 베이조스까지 — 조 단위 자금과 최고 연구자들이 동시에 향하는 곳

 

2026년 들어 AI 업계에서 가장 자주 들리는 단어를 하나만 꼽으라면 단연 ‘월드모델’이다. 구글, 엔비디아 같은 빅테크의 연구조직부터, 스탠퍼드의 Fei-Fei Li, Meta를 떠난 Yann LeCun, 심지어 아마존 창업자 제프 베이조스까지 — 서로 접점이 없어 보이는 이들이 최근 1년 사이 일제히 이 한 분야로 자금과 인력을 쏟아붓고 있다. 도대체 무엇이 이 정도 규모의 동시다발적 베팅을 끌어내고 있는 걸까.

 

월드모델이란 정확히 무엇인가

 

가장 널리 통용되는 정의부터 짚어보자. 구글 AI가 2025년 12월 기준으로 정리한 업계 공통 정의에 따르면, 월드모델은 비디오 같은 데이터로부터 물리 법칙과 인과관계를 학습해 동적인 3D 환경을 시뮬레이션하고 예측하는 AI 시스템을 가리킨다. 언어모델을 넘어 공간적 관계와 물리적 상호작용을 이해함으로써, 로보틱스·디자인·의학 등에서 몰입형이고 상호작용 가능한 세계를 만들어낼 수 있다는 것이 핵심이다.

 

이 개념을 가장 직관적으로 보여주는 비유가 갓난아기의 인지 발달이다. 아기는 특별히 암기를 하지 않아도, 관찰을 통해 세상이 어떻게 돌아가는지에 대한 단순한 내부 모델을 만들어간다. 생후 1년쯤 되면 공이 소파 뒤로 굴러가도 그 공이 사라진 게 아니라 여전히 존재한다는 걸 안다. 심리학자 장 피아제가 정리한 ‘대상 영속성’ 개념이다. 아기는 이걸 누가 가르쳐주지 않아도, 그저 세상을 관찰하고 손으로 만지고 눈으로 좇는 경험만으로 습득한다.

 

반면 지금의 언어모델은 대화와 패턴 인식에는 뛰어나지만 이런 감각이 없다. 눈앞에 무엇이 있는지는 잘 설명해도, 지금 보이지 않는 것이 어떻게 되어 있을지, 어떤 행동을 했을 때 다음에 무슨 일이 벌어질지를 안정적으로 예측하지 못한다. 컵이 기울어지면 물이 쏟아진다는 사실을, 언어모델은 수많은 텍스트에서 ‘학습’했을 뿐 실제로 ‘이해’한 적은 없다. 월드모델은 바로 이 공백 — 세상이 어떻게 돌아가는지에 대한 내부적 시뮬레이션 능력 — 을 메우기 위한 시도다.

 

월드모델 입문 — V-JEPA 2를 중심으로 한 개념 강의

 

왜 하필 지금인가 — ‘피크 데이터’ 문제

 

이 흐름이 유독 2026년에 가속화된 데는 업계가 마주한 현실적인 문제도 있다. AI 업계 리더들은 이미 인터넷에 존재하는 양질의 텍스트 데이터를 거의 다 써버린 ‘피크 데이터’에 다다랐다고 경고해왔다. 더 큰 언어모델을 만들려 해도, 새로 학습시킬 만한 질 좋은 텍스트 자체가 바닥나고 있다는 뜻이다.

 

반면 영상·시뮬레이션·공간 데이터는 상대적으로 손대지 않은 영역으로 남아 있다. 유튜브에만 매일 수억 시간 분량의 영상이 새로 올라오고, 로봇·자율주행차·산업 현장의 센서는 끊임없이 새로운 물리 데이터를 만들어낸다. 다음 단어를 맞히는 방식이 아니라, 영상을 보고 스스로 장면과 사물의 표현을 구축하는 학습 방식으로 넘어가면 이 병목을 피해갈 수 있다는 계산이 깔려 있다. 실제로 메타의 V-JEPA 2는 대중에 공개된 영상 100만 시간과 이미지 100만 장을 사전학습에 활용했는데, 이는 애초에 텍스트로는 확보할 수 없는 규모와 종류의 데이터다.

 

대표 주자들 — 접근 방식이 제각각이다

 

같은 ‘월드모델’이라는 이름 아래서도, 실제로 하는 일과 방법론은 회사마다 크게 다르다.

 

 

Genie 3 — 구글 딥마인드

 

텍스트 한 줄만으로 실시간 상호작용이 가능한 3D 세계를 즉석에서 만들어내는 모델이다. 2024년 3월 2D 버전으로 시작해 2025년 8월 지금의 실시간 3D 버전으로 진화했다. 720p 해상도, 초당 20~24프레임으로 작동하며 최대 1분가량 장면을 기억한다.

 

출처: Google DeepMind 공식 소개 페이지 (deepmind.google/models/genie)

 

Genie 3 공식 소개 영상 (deepmind.google/models/genie)

 

Cosmos — 엔비디아

 

엔비디아 Cosmos는 산업 현장에 초점이 맞춰진 월드 파운데이션 모델 플랫폼이다. 텍스트·이미지·영상·주변음·행동 신호를 함께 입력받아 로봇이 실제로 실행할 정책(행동 계획)을 학습시키는 데 쓰인다. 시뮬레이터 안에서 수많은 시나리오를 가상으로 반복 실행해, 실제 로봇을 위험에 빠뜨리지 않고도 정책을 개선할 수 있다는 게 핵심이다.

 

출처: NVIDIA 공식 웹사이트 (nvidia.com/en-us/ai/cosmos)

 

엔비디아 공식 채널 — Cosmos: 물리 AI를 위한 월드 파운데이션 모델 플랫폼 소개

 

엔비디아 공식 채널 — Cosmos 3 공개 영상 (2026.6)

 

Marble — World Labs (Fei-Fei Li)

 

사진이나 텍스트로 실제 걸어 다닐 수 있는 3D 공간을 생성하고, 이를 파일(가우시안 스플랫, 폴리곤 메쉬)로 저장해 다른 제작 도구에 가져다 쓸 수 있게 하는 상용 서비스다. World Labs는 2026년 2월 18일 10억 달러를 추가 유치하며 기업가치 54억 달러를 기록했다.

 

출처: World Labs 공식 블로그 (worldlabs.ai/blog/marble-world-model)

 

“World Labs: Just Imagine” — Marble 자체로 제작한 런칭 영상 비하인드 (Fei-Fei Li 코멘트 포함)

 

JEPA — Yann LeCun와 AMI Labs

 

JEPA(Joint Embedding Predictive Architecture)는 2022년 LeCun이 발표한 논문 ‘A Path Towards Autonomous Machine Intelligence’에서 처음 제안됐다. 픽셀 하나하나를 재구성하는 대신, 입력값 두 개(예: 연속된 두 영상 프레임)를 각각 추상적인 표현으로 인코딩한 뒤 한쪽에서 다른 쪽을 예측하도록 학습시키는 방식이다. LeCun은 이 원리로 이미지용 I-JEPA, 영상용 V-JEPA·V-JEPA 2를 잇따라 내놓았고, 2025년 말 Meta를 떠나 이 노선에 전념하는 AMI Labs를 파리에 설립했다. AMI Labs는 2026년 3월 10일 10억 3천만 달러 시드 투자를 35억 달러 밸류에이션에 유치했는데, 이는 유럽 스타트업 역사상 최대 규모다.

 

V-JEPA 2 논문 해설 영상 — Self-Supervised Video Models Enable Understanding, Prediction and Planning

 

이미 증명된 사례도 있다 — DreamerV3와 V-JEPA 2

 

월드모델이 단순한 구호에 그치지 않는다는 걸 보여주는 학술적 증거도 이미 나와 있다.

 

DreamerV3: 2025년 4월 국제 학술지 네이처에 발표된 연구에서, AI 에이전트 ‘DreamerV3’는 월드모델을 학습해 미래 시나리오를 ‘상상’해보는 방식으로 스스로 행동을 개선하는 데 성공했다. 사람이 짜준 규칙이나 대량의 시행착오 없이도, 내부 시뮬레이션만으로 복잡한 과제(마인크래프트에서 다이아몬드를 채굴하는 것과 같은, 사전 학습 없이는 사실상 불가능한 장기 과제)를 풀어낸 사례로 평가된다.

 

V-JEPA 2: LeCun의 JEPA 노선이 실제로 로봇을 움직인 사례다. 메타 연구진은 공개된 영상 100만 시간과 이미지 100만 장으로 V-JEPA 2를 사전학습시킨 뒤, 단 62시간 분량의 로봇 팔 영상만 추가로 학습시켜 완전히 다른 실험실의 처음 보는 로봇 팔(Franka Emika Panda)을 제어하는 데 성공했다. 로봇에게 ‘목표 이미지'(예: 물건이 원하는 위치에 놓인 사진) 한 장만 보여주면, 로봇이 그 목표에 도달하기 위한 행동을 내부적으로 시뮬레이션해가며 스스로 계획을 세운다. 사전 보상 설계나 해당 환경에 특화된 훈련 없이 이런 ‘제로샷’ 제어가 가능하다는 점이 핵심 성과로 꼽힌다. (Meta는 이 발표를 자체 유튜브 채널이 아닌 공식 블로그와 Facebook 페이지로만 배포했다.)

 

왜 방법론이 다른 진영 모두에 자본이 몰리나

 

흥미로운 지점은, 방법론이 정반대인 진영들 — 픽셀을 직접 생성하는 World Labs·구글과, 추상적 표현만 예측하는 LeCun의 JEPA — 에 투자자들이 동시에 베팅하고 있다는 점이다. 이는 아직 ‘월드모델의 정답’이 확정되지 않았다는 방증이기도 하다. 투자자들은 어느 한쪽의 기술이 아니라, “언어 다음은 물리 세계를 이해하는 AI가 온다”는 공통된 서사 자체에 돈을 걸고 있는 셈이다. 다만 한 가지 짚어둘 균형점은 있다 — 이 분야는 아직 통일된 정의조차 없고, 렌더러·시뮬레이터·플래너 등 상당히 다른 기술들이 같은 이름 아래 섞여 있다는 지적도 나온다.

 

콘텐츠 업계에 시사하는 것

 

이 흐름이 다루는 궁극적인 지향점은 로보틱스·자율주행처럼 AI가 물리 세계에서 안전하게 행동하도록 훈련시키는 데 있다. 다만 그 과정에서 파생된 기술(3D 공간 생성)이 게임·영상·VR 제작에도 실질적인 도구로 쓰이기 시작했다는 점이 콘텐츠 업계 입장에서는 주목할 대목이다. 실제로 Marble은 이미 여러 창작 현장에서 쓰이고 있다.

 

Unreal Engine 사례 — 실제로 출시된 게임 ‘Gaussian Mansion’

 

스페인 개발 스튜디오 Tijerín Art Studio의 José Tijerín이 World Labs의 의뢰를 받아 제작한 파일럿 프로젝트로, 2025년 12월 13일 스팀(Steam)에 무료로 정식 출시됐다. 저주받은 빅토리아풍 호텔을 배경으로 한 1인칭 레일 슈터로, 플레이 타임은 10~15분이다.

 

제작 과정은 이렇다 — José는 손으로 그린 스케치와 360도 파노라마 일러스트를 Nano Banana로 보정한 뒤, Marble로 각 공간을 걸어 다닐 수 있는 3D 환경(.PLY 가우시안 스플랫)으로 변환하고, Marble Studio로 여러 장면을 하나로 이어 붙였다. 이렇게 완성된 환경을 언리얼엔진 5로 가져와 카메라 경로와 조명, 인터랙션을 다듬었다. World Labs 공식 케이스 스터디에서 José는 “Marble은 창의성을 대체하는 게 아니라 기술적 협력자가 됐다”고 밝혔다.

 

Gaussian Mansion — Marble로 생성한 장면을 언리얼엔진 5로 완성한 실제 출시작

 

출처: World Labs 공식 케이스 스터디 (worldlabs.ai/case-studies/3-gaussian-mansion)

 

직접 플레이·확인 가능: 스팀 스토어 페이지 (공식 트레일러·스크린샷 다수) · itch.io 페이지

 

Unity 파이프라인 사례 — ‘Splat World’

 

VR 개발자 Daniel Skaale가 만든 프로젝트로, World Labs가 공식 커뮤니티 쇼케이스로 소개했다. Marble Composer로 사실적인 저택 장면과 색채가 강렬한 초현실적 ‘스플랫 월드’ 장면 두 가지를 만든 뒤 Unity로 가져와, 스플랫의 조명·밀도·물리적 움직임을 실시간으로 바꿀 수 있는 커스텀 C# 툴박스를 직접 개발했다. 사용자의 움직임이나 충돌에 반응해 스플랫이 파티클처럼 흩어지는 효과까지 구현했는데, 스플랫을 단순한 배경 데이터가 아니라 ‘반응하는 소재’로 다룬 사례로 소개된다. 이 경험은 PC 테더링 상태와 Meta Quest 3 스탠드얼론 상태 양쪽에서 성능과 화질을 유지하도록 테스트됐다.

 

Splat World — Unity에서 실시간으로 조작되는 Marble 가우시안 스플랫

 

사용자 움직임에 반응해 파티클처럼 흩어지는 스플랫 물리 효과

 

직접 확인 가능: World Labs 공식 케이스 스터디 · 커뮤니티 쇼케이스 페이지

 

Unity 실전 제작기 — VR 스튜디오의 도입 후기

 

한 VR 콘텐츠 제작사가 자사 기술 블로그(Skywork.ai)에 공개한 실전 기록도 있다. 클라이언트 데모용 VR 환경을 3주째 손으로 모델링하던 중 Marble을 테스트해봤는데, 실제 업무 공간 사진으로 사무실 환경을 약 15분 만에 생성한 뒤 스플랫과 콜라이더 메쉬를 함께 내려받아 Unity로 가져오고, XR Interaction Toolkit으로 VR 카메라·텔레포트 이동을 구성했다. Quest 2 대상 최적화를 위해 20만 개 경량 스플랫, 1024×1024 텍스처, 공격적인 오클루전 컬링을 적용한 결과 안정적인 초당 72프레임을 확보했고, Marble 생성부터 VR 빌드 완성까지 총 6시간이 걸렸다고 기록했다 — 수작업으로는 수 주가 걸렸을 작업이다.

 

출처: Skywork ai 블로그 (skywork.ai/blog/ai-image/marble-to-unity-import)

 

Unity 표준 플러그인 — UnityGaussianSplatting

 

Unity에서 가우시안 스플랫을 렌더링하는 사실상의 표준 플러그인은 아라스 프란체비치우스(Aras Pranckevičius)가 만든 오픈소스 ‘UnityGaussianSplatting’이다(GitHub 3.4k 스타). 최근 업데이트로 Quest 3, Quest Pro, HTC Vive, Varjo Aero 등 주요 VR 헤드셋 지원이 추가됐고, 커뮤니티 벤치마크에 따르면 Quest 3에서는 약 40만 개 스플랫까지 안정적으로 72fps를 유지할 수 있는 것으로 보고된다.

 

Quest 3에서 실행되는 Unity 가우시안 스플래팅 VR 데모 (UnityGaussianSplatting 기반)

 

직접 확인 가능: GitHub 공식 저장소 (README에 실제 벤치마크 수치 수록)

 

그 밖의 사례

 

건축 시각화 툴 Fenestra와 인테리어 앱 Interior AI는 컨셉 이미지를 몇 분 만에 걸어 다닐 수 있는 3D 공간으로 바꿔주는 데 Marble을 쓰고 있다. 노코드 게임 플랫폼 Rosebud AI는 Marble이 생성한 장면을 자체 멀티플레이어 게임 템플릿에 결합하는 실험도 진행했다. (건축·인테리어 사례 · Rosebud AI 협업 사례)

 

정리하면, 지금 접하는 Genie 3나 Marble 같은 도구는 이 거대한 연구 프로그램에서 파생된 상업적 결과물일 뿐이다. 이 흐름의 본질은 따로 있다 — AI가 처음으로 ‘보이지 않는 것’을 상상하고, ‘아직 일어나지 않은 일’을 시뮬레이션하기 시작했다는 것이다. 언어모델이 인간의 말을 흉내 내는 단계였다면, 월드모델은 인간이 세상을 머릿속에 그리는 방식 자체를 흉내 내려는 시도다.

 

콘텐츠 제작자에게 이건 단순히 “며칠 걸리던 배경 작업이 몇 시간으로 줄어든다”는 효율의 문제가 아니다. 지금까지 3D 공간을 만들려면 모델러·라이터·엔지니어가 필요했다. Gaussian Mansion을 만든 José처럼, 이제는 스케치 한 장과 상상력만 있어도 걸어 다닐 수 있는 세계를 직접 지을 수 있다는 뜻이다. 자본과 최고 연구자들이 이 분야에 몰리는 이유도 결국 여기에 있다 — 앞으로 AI와 함께 만드는 창작물은 텍스트도 영상도 아닌, ‘공간’ 그 자체가 될 수 있다는 베팅이다.

 

출처: Fortune · Nature · TIME · Scientific American · Euronews · NVIDIA · Meta AI · Google DeepMind · World Labs · Steam · Skywork ai · GitHub (aras-p/UnityGaussianSplatting) · Hafner et al., Nature 640 (2025)