Google, DiffusionGemma 소개: 확산 기반 새로운 텍스트 생성 방식

2026년 06월 17일
생성형 AI 소식

Google이 새로운 언어 모델 ‘DiffusionGemma’를 공개했다. 기존의 자동회귀(autoregressive) 방식과 달리, 확산(diffusion) 기술을 적용한 이 모델은 단일 사용자를 위해 한 번에 여러 토큰을 병렬로 생성하는 방식으로 생성 속도를 크게 향상시킨다.

자동회귀 모델의 한계와 DiffusionGemma의 혁신

기존의 자동회귀 대규모언어모델(LLM)은 한 번에 하나의 토큰씩 생성한다. 이러한 방식은 여러 사용자를 동시에 처리할 때 효율적이다. 왜냐하면 단일 사용자를 위해 하나의 토큰을 생성하는 비용이 매우 저렴하기 때문이다. 토큰 생성 과정에서 상당한 시간이 메모리에서 가중치(weights)를 로드하는 데 소비되고, 실제 계산에는 상대적으로 적은 시간이 걸린다. 즉, 기존 Transformer 모델은 디코딩 과정에서 메모리 한계에 직면한다.

이러한 특성 때문에 한 사용자를 위해 토큰 하나를 생성하는 데 걸리는 시간이 256명의 사용자를 위해 각각 한 개씩 생성하는 시간과 거의 같다. 가중치는 단계별로 메모리에서 한 번만 로드되면 되므로, 1개 사용자의 벡터든 256개 사용자의 벡터든 메모리에서 가중치를 이동하는 비용은 동일하기 때문이다. 사용자들을 배치(batch)로 묶으면 거의 같은 비용으로 더 많은 작업을 처리할 수 있다. 다만, 특정 지점을 넘으면 LLM이 너무 많은 사용자를 처리하게 되어 계산 능력이 부족해진다.

DiffusionGemma의 핵심 아이디어: 병렬 토큰 생성

DiffusionGemma는 이러한 패러다임을 완전히 뒤집는다. 기존 방식이 256명의 사용자 각각에게 1개의 토큰씩 생성하는 것이라면, DiffusionGemma는 단일 사용자를 위해 256개의 토큰을 한 번에 생성하는 방식을 취한다. 이것이 DiffusionGemma의 핵심 개념이다.

Gemma 4 12B 출시 이후 공개된 DiffusionGemma는 기존의 “일반적인” LLM들의 많은 장점을 유지하면서도 텍스트 생성을 위한 완전히 다른 접근 방식을 제시한다. 확산(diffusion) 기술을 일반 텍스트에 적용한 이 모델은 离산(discrete) 텍스트에 대한 확산이 어떻게 작동하는지, DiffusionGemma의 아키텍처, 그리고 사용된 다양한 혁신 기술들을 포함하고 있다.

하드웨어 활용 효율성과 지연시간 개선

배치 처리가 여러 사용자를 동시에 처리할 때는 효율적이지만, 개별 사용자 입장에서는 이점이 없다. 개별 사용자는 여전히 같은 속도로 토큰을 받게 되며 지연시간(latency)에는 변화가 없다. DiffusionGemma는 이 문제를 해결한다. 단일 사용자를 위해 유휴 컴퓨팅 자원을 활용함으로써, 사용자당 생성 속도를 획기적으로 향상시킨다.

이를 “로프라인 플롯(roofline plot)”으로 시각화할 수 있다. 로프라인 플롯은 칩의 성능 향상(토큰 생성에 필요한 시간)과 칩의 메모리(데이터를 메모리에서 로드하는 속도)의 영향을 보여준다. 단일 사용자(배치 크기 1)를 처리할 때, LLM은 메모리 한계에 직면하며 실제 계산 없이 많은 수의 가중치를 로드한다. 배치 크기를 늘릴수록(동일한 메모리 로드, 더 많은 계산), 하드웨어가 적절히 활용되는 “라이드 포인트(ride point)”에 접근하게 된다.

핵심 스펙

DiffusionGemma는 Gemma 4의 26B Mixture of Experts(MoE) 아키텍처를 기반으로 한다. 총 파라미터는 260억 개지만 추론 시 실제로 활성화되는 파라미터는 38억 개(3.8B)에 불과하다. 양자화하면 18GB VRAM 이내로 소비자용 GPU에서 실행 가능하다. 텍스트, 이미지, 동영상 입력을 모두 처리하는 멀티모달 모델이며 140개 이상의 언어를 지원하고 컨텍스트 윈도우는 256K 토큰이다. Apache 2.0 라이선스로 무료 배포되며 Hugging Face, Kaggle, Google Cloud Vertex AI에서 내려받을 수 있다.

실제 속도와 솔직한 한계

단일 NVIDIA H100에서 초당 1,000개 이상의 토큰을 생성하며, RTX 5090에서는 초당 700개 이상이다. vLLM의 FP8 양자화를 적용하면 H200에서 초당 1,288 토큰까지 나온다. 기존 자기회귀 모델 대비 최대 4배 빠른 속도다.

단, Google은 품질 트레이드오프를 명확히 인정한다. 출력 품질은 표준 Gemma 4보다 낮으며 GPQA-Diamond 벤치마크에서 Gemma 4 12B보다 낮은 점수를 기록했다. 짧은 답변에서는 오히려 일반 모델이 더 효율적이다. Google이 권장하는 활용 분야는 인라인 편집, 코드 채우기(code infilling), 빠른 반복 작업이며 최고 품질이 필요한 프로덕션 작업에는 여전히 자기회귀 Gemma 4를 권장한다.

직접 사용하는 방법

가장 빠른 시작은 Hugging Face Transformers를 통해 RTX 5090 또는 DGX Spark에서 실행하는 것이다. 고처리량 추론은 vLLM을 사용하고, 파인튜닝은 Unsloth 또는 NVIDIA NeMo 프레임워크를 활용할 수 있다. NVIDIA의 build.nvidia.com에서 무료 호스팅 데모를 테스트할 수 있으며, 직접 설치 없이 체험하려면 Hugging Face Spaces의 공식 데모를 이용하면 된다.

의의 및 전망

DiffusionGemma는 생성 AI의 효율성을 근본적으로 재정의하는 모델이다. 확산 기술을 텍스트 생성에 적용함으로써, 기존 자동회귀 모델의 지연시간 문제를 해결하고 단일 사용자 경험을 획기적으로 개선할 가능성을 제시한다. 이는 실시간 생성이 중요한 콘텐츠 제작, 대화형 AI, 창의적 작업 등 다양한 분야에서 AI 모델의 실용성을 높일 수 있다. 특히 개별 사용자의 처리 속도가 중요한 엔터프라이즈 환경이나 크리에이티브 워크플로우에서 큰 변화를 가져올 것으로 예상된다.