최근 AI 업계에서 ‘월드모델(World Model)’이라는 단어가 자주 등장한다. 구글 딥마인드의 Genie 3, 스탠퍼드 AI 석학 Fei-Fei Li가 만든 World Labs의 Marble이 대표 사례로 꼽힌다. 영상·이미지 생성 AI에 익숙한 크리에이터라면 “이것도 결국 그림 잘 그리는 AI 아닌가” 싶을 수 있지만, 실제로는 결이 다른 기술이다.
기존 생성형 AI와 무엇이 다른가
지금까지 써온 생성형 AI(이미지 생성, 영상 생성)는 ‘보여지는 장면 한 컷’을 만들어낸다. 사용자는 그 장면을 감상하거나 편집 소스로 쓸 뿐, 그 안으로 들어갈 수는 없다.
월드모델은 다르다. 텍스트나 사진 몇 장만으로 실제로 걸어 들어가 둘러볼 수 있는 3D 공간을 만들어낸다. 카메라 앵글을 마음대로 바꾸고, 공간 안을 이동하고, 다른 방향에서 다시 볼 수 있다. 결과물이 ‘장면’이 아니라 ‘공간’이라는 점이 핵심적인 차이다.
아래 영상은 Marble로 생성한 3D 월드를 이미지 한 장에서 시작해 실제로 걸어 들어가는 과정을 보여준다.
Genie의 진화 — 2D에서 실시간 3D까지
구글 딥마인드의 월드모델은 하루아침에 나온 게 아니다. 2024년 3월 첫 버전인 Genie가 2차원 인터랙티브 환경을 생성하는 수준으로 공개됐고, 같은 해 12월 Genie 2가 3차원 환경 생성으로 확장됐다. 2025년 8월 공개된 Genie 3는 해상도와 기억 지속 시간을 대폭 끌어올린 버전이다. 2026년 2월에는 자율주행 기업 Waymo가 Genie 3를 자율주행 시뮬레이션 전용으로 특화한 ‘Waymo 월드모델’을 도입하면서, 콘텐츠 제작을 넘어 산업 현장에도 적용되기 시작했다.
| 버전 | 시기 | 핵심 변화 | 제어 방식 | 해상도·속도 |
|---|---|---|---|---|
| Genie 1 | 2024년 3월 | 2D 인터랙티브 환경 생성 | 키보드 방향키 | 저해상도 |
| Genie 2 | 2024년 12월 | 3D 환경 생성으로 확장 | 키보드 + 마우스 | 10~20초 클립, 비실시간 |
| Genie 3 | 2025년 8월 | 실시간 인터랙션, 일관성 수 분 유지 | 키보드 + 텍스트 이벤트 프롬프트 | 720p / 24fps 실시간 |
| Waymo 월드모델 | 2026년 2월 | 자율주행 시뮬레이션 특화 | 산업용 | 산업 배포 |
Genie 3 공식 발표 영상
Genie 3 — 실제 데모 클립들
물리 현상 시뮬레이션 — 화산 지형 탐험
자연 세계 시뮬레이션 — 빙하 호수 숲길
역사 장소 탐험 — 고대 아테네
구글 딥마인드 연구진 인터뷰 — Genie 3와 월드모델의 미래
Genie 3 vs Marble — 두 대표 모델 비교
| 구분 | Genie 3 (구글 딥마인드) | Marble (World Labs) |
|---|---|---|
| 방식 | 실시간 생성 — 매 순간 다음 프레임을 예측해 그려냄 | 영속적 3D 자산 생성 — 한 번 만든 월드를 파일로 저장·재편집 |
| 해상도/속도 | 720p, 24fps | 1080p 정지 이미지 및 3D 자산 |
| 세션/지속성 | 수 분 단위, 매번 재생성(비영속) | 월드가 고정·영속적으로 저장됨 |
| 익스포트 | 없음(브라우저 내 체험형) | 가우시안 스플랫(.ply/.spz), 콜라이더 메쉬(GLB), 텍스처 메쉬(GLB), 비디오 |
| VR 지원 | 미지원(연구 프리뷰) | Vision Pro, Meta Quest 3 지원 |
| 상업 이용 | 불가 (연구 전용) | Pro 플랜($35/월) 이상 가능 |
| 게임엔진 연계 | 없음 | Unity·Unreal Engine 파일 익스포트 지원 |
| 접근성 | Google AI Ultra($250/월, 미국 한정) | 무료~$95/월 (4개 플랜) |
Marble — 크리에이터가 실제로 쓸 수 있는 월드모델
Genie 3가 실시간 체험형 연구 모델이라면, Marble은 지금 당장 실제 작업에 쓸 수 있는 상업용 도구다. World Labs 공동창업자 Justin Johnson은 TechCrunch 인터뷰에서 Marble의 포지셔닝을 이렇게 설명했다. “Marble은 게임 파이프라인 전체를 대체하도록 설계된 게 아닙니다. 단지 기존 파이프라인에 드롭인할 수 있는 자산을 제공하는 것입니다.”
Marble이 생성한 3D 월드는 웹 브라우저에서 바로 탐색할 수 있고, 다음 포맷으로 내보낼 수 있다.
- 가우시안 스플랫(.ply / .spz): 포토리얼리스틱 품질 유지. 2M 스플랫(풀 품질) 또는 500K 스플랫(경량) 선택 가능
- 콜라이더 메쉬(GLB): 물리 충돌 처리용 — Unity·UE5에서 캐릭터 걷기, 오브젝트 상호작용에 사용
- 고품질 텍스처 메쉬(GLB): 전통적인 폴리곤 파이프라인에 바로 투입 가능
- 비디오: 생성된 월드의 워크스루 영상 익스포트
Marble 실사용 데모 — 이미지→3D 월드 전체 워크플로우
Unity·Unreal Engine 연계 — 실제 파이프라인
Marble이 크리에이터에게 실질적으로 유용한 이유는 게임엔진과의 연계성이다. 게임 개발자, VR 크리에이터, VFX 아티스트들이 가장 많이 쓰는 워크플로우는 이렇다.
Unity 파이프라인:
Marble에서 월드를 생성하면 가우시안 스플랫(.ply/.spz)과 콜라이더 메쉬(GLB) 두 파일이 익스포트된다. Unity에서 가우시안 스플랫은 시각적 배경으로, 콜라이더 메쉬는 물리 충돌 처리용으로 별도 레이어에 쌓아 사용한다. 단, 가우시안 스플랫은 Unity의 표준 렌더링 파이프라인과 달리 전용 플러그인(예: Unity의 6D.ai Gaussian Splatting 패키지)이 필요하다. 성능 최적화가 필요한 모바일 프로젝트에서는 풀 2M 스플랫 대신 500K 경량 버전이나 텍스처 메쉬를 선택하는 것이 현실적이다.
Unreal Engine 5 파이프라인:
World Labs는 Marble과 UE5의 통합을 공식 케이스 스터디로 소개하고 있다. “공간 생성, AI 기반 모델링, Unreal Engine을 통합해 컨셉아트에서 게임플레이까지 3D 월드 제작을 간소화한다”는 것이 핵심이다. UE5는 가우시안 스플랫 렌더링을 네이티브로 지원하는 플러그인 생태계가 Unity보다 성숙해 있어 퀄리티 손실이 적다.
VFX 작업에서는 AI 영상 생성의 가장 큰 약점인 카메라 컨트롤 문제를 Marble이 해결해준다. 3D 자산으로 장면을 구성하면 카메라 위치를 프레임 단위로 정밀하게 제어할 수 있어, 단순 영상 생성 모델보다 VFX 워크플로우에 훨씬 적합하다.
Marble 상업 이용 — 요금제와 라이선스
| 플랜 | 월 요금 | 월 크레딧 | 상업 이용 | 비고 |
|---|---|---|---|---|
| Free | $0 | 기본 (월 4개 생성) | ❌ | 텍스트·단일 이미지·360 파노라마 |
| Standard | $20 | 20,000 크레딧 (약 12개) | ❌ | 멀티 이미지·영상 입력 추가 |
| Pro | $35 | 약 25개 | ✅ 게임·영상·광고 | 상업 이용 최소 요건 |
| Max | $95 | 약 75개 | ✅ | 대규모 프로덕션용 |
| Enterprise | 별도 문의 | 맞춤 | ✅ | 팀·조직 단위 맞춤 플랜 |
크레딧은 미사용 분이 다음 달로 이월되지 않는다. 게임·영상·광고 등 실제 납품용 결과물에 사용하려면 Pro 플랜($35/월)이 최소 요건이다.
Marble의 작동 원리 — 3D 가우시안 스플래팅 깊이 보기
Marble이 3D 공간을 표현하는 핵심 기술은 ‘3D 가우시안 스플래팅(3D Gaussian Splatting)’이다. 2023년 SIGGRAPH(컴퓨터 그래픽스 분야 최고 권위 학회)에서 처음 발표된 이 기법은 3D 재구성 분야의 판도를 바꿔놓았다는 평가를 받는다.
과정은 크게 세 단계로 이뤄진다.
① 다각도 촬영
전통적인 포토그래메트리나 NeRF와 마찬가지로, 한 공간을 여러 각도에서 찍은 사진(또는 영상)이 출발점이다. Marble의 경우 사용자가 올린 사진·영상·텍스트 설명이 이 역할을 한다.
② 카메라 위치 추정
각 사진이 어느 위치·각도에서 촬영됐는지를 역산하는 ‘구조화 기반 모션(Structure-from-Motion)’ 처리를 거쳐 성긴 점 구름(sparse point cloud)을 만들어낸다.
③ 가우시안 최적화
공간을 폴리곤이 아닌 수백만 개의 타원형 반투명 입자(‘가우시안’)로 채운다. 래스터화 방식으로 처리하기 때문에 초당 100프레임이 넘는 재생도 가능하다.
3D 가우시안 스플래팅 원리 해설
가우시안 스플랫 → 언리얼엔진 UE5 실전 튜토리얼
왜 이 방식이 주목받았나 — NeRF와의 비교
| 구분 | NeRF (신경 방사 필드) | 3D 가우시안 스플래팅 |
|---|---|---|
| 장면 표현 | 신경망이 공간 전체를 암묵적으로 표현 | 명시적인 가우시안 입자 수백만 개로 표현 |
| 렌더링 방식 | 광선 추적 + 신경망 추론(볼륨 렌더링) | 2D 평면 투영 후 래스터화 |
| 렌더링 속도 | 느림, 실시간 어려움 | 빠름, 실시간(100fps 이상) 가능 |
| 학습 속도 | 느림 | NeRF 대비 훨씬 빠름 |
| 이미지 품질 | 세밀한 볼륨 효과에서 강점 | 얇은 구조물·반사면에 강점, 촬영 정보 부족 시 아티팩트 |
| 엔진 통합 | 별도 플러그인 필요, 생태계 초기 | UE5·Unity 플러그인 생태계 빠르게 성장 중 |
Fei-Fei Li·Justin Johnson — “언어모델 이후: 공간 지능과 월드모델”
타입별 활용 사례
① 게임 레벨 디자인 — ‘Gaussian Mansion’ 사례
인디 개발자 José는 Marble을 시각적 아이디어 구상 도구이자 내러티브 프로토타이핑 엔진으로 활용해, 언리얼엔진 5(UE5)로 완성한 시네마틱 레일 슈터 데모를 제작했다. World Labs는 이 사례를 “전통적인 파이프라인이 따라올 수 없는 속도로 레벨 디자인·페이싱·스토리텔링 구조를 실험할 수 있었다”고 소개했다.
② 영화·VFX 프리비주얼라이제이션 — 좀비 영화 부활 사례
영화감독 Joshua Kerr은 어린 시절 거리에서 찍은 실제 영상을 Marble에 입력해 시네마틱 가상 세트로 변환하고, Lightcraft Jetset과 Beeble을 함께 활용해 첫 번째 좀비 영화를 완성했다. VFX에서 Marble의 핵심 가치는 AI 영상 생성 모델이 갖는 카메라 컨트롤 부족 문제를 해결하는 것이다. 3D 자산으로 장면을 구성하면 프레임 단위로 카메라 움직임을 정밀하게 제어할 수 있다.
③ 건축·인테리어 시각화
디자이너가 컨셉 이미지를 Marble에 입력하면 몇 분 안에 걸어 다닐 수 있는 사실적인 3D 공간을 받을 수 있다. 도면을 그리기 전에 컨셉을 먼저 걸어볼 수 있고, 원격으로도 클라이언트와 인터랙티브한 공간을 공유할 수 있다.
④ 로보틱스 시뮬레이션 — Real2Sim 파이프라인
로보틱스 기업 Lightwheel은 Marble의 생성형 월드로 ‘Real2Sim’ 파이프라인을 구축했다. 기존 방식보다 훨씬 빠르게 대규모 체화 AI(embodied AI) 평가용 환경을 확보할 수 있다.
⑤ 멀티플레이어 게임 — Rosebud AI 협업
노코드 게임 제작 플랫폼 Rosebud AI는 Marble이 생성한 스플랫 장면과 콜라이더 메쉬를 자체 게임 템플릿에 결합해, 여러 사용자가 함께 만들고 함께 접속하는 멀티플레이어 월드빌딩을 시연했다.
크리에이터에게 왜 중요한가
VR 콘텐츠나 영상 제작에서 배경·세트를 만드는 작업은 가장 시간이 많이 드는 공정 중 하나다. Marble이 이 배경 제작의 초안을 몇 시간 만에 뽑아주고, Unity나 UE5에 파일로 바로 넣을 수 있다면 제작 기간과 비용을 크게 줄일 수 있다. VR 콘텐츠가 “콘텐츠 부족으로 굶주리고 있다”는 Justin Johnson의 말처럼, 월드모델은 VR 크리에이터에게 가장 빠른 공급 해결책이기도 하다.
다만 현재는 완성도 높은 최종 납품물 수준이 아닌 ‘초안 생성 도구’로 보는 것이 정확하다. VR 헤드셋에서 요구되는 초당 72프레임 이상의 매끄러운 재생을 확보하려면 별도의 최적화 작업도 필수다.
다음 기사에서는 이 기술에 왜 이렇게 많은 자본과 인재가 몰리고 있는지, 업계가 그리는 큰 그림을 살펴본다.
출처: Google DeepMind — Genie 3 공식 블로그 · World Labs — Marble 공식 블로그 · TechCrunch · Marble Labs 케이스 스터디 · Marble 요금제
