AI 에이전트에게 예산과 도구만 주고 뮤직비디오를 자율 제작하게 하면 어떤 일이 벌어질까. TryAI.dev가 Claude Fable 5와 GPT-5.6 Sol에게 각각 $25·$100 예산과 FAL/Replicate 영상 생성 API, ffmpeg 편집 도구를 주고 Bruno Mars의 ‘Uptown Funk’ 뮤직비디오를 만들게 했다. 4개 실행 모두 완성된 영상을 자율 생성하는 데 성공했지만, 어떤 모델을 쓸지·어떻게 편집할지를 스스로 결정하는 방식에서 두 모델의 전략이 뚜렷하게 갈렸다.
실험 설계 — 6가지 도구, 자율 판단, 예산 제한
각 모델에게 동일한 조건이 주어졌다. 곡(Uptown Funk), 짧은 텍스트 설명, 타임스탬프가 있는 가사 전사본. 그리고 6가지 도구다.
- plan: 사고를 위한 도구 (비용 없음, 행동 없음)
- web_search: 영상 생성 모델과 API를 조사하거나 뮤직비디오 정보를 검색
- get_budget: 남은 예산 확인
- generate_image / generate_video: 예산을 소비하는 유일한 도구. FAL 또는 Replicate의 어떤 모델을 쓸지, 파라미터를 어떻게 설정할지 모델이 직접 결정
- run_command: ffmpeg/ffprobe가 설치된 로컬 셸. 오디오 분석, 클립 컷·연결, 최종 영상 조립에 활용
예산이 0이 되면 유료 생성은 거부되지만 편집 작업은 계속할 수 있다. 모든 모델 메시지, 도구 호출, 비용, 오류가 로그로 기록됐다. 전체 하네스는 github.com/hershalb/music-video-arena에서 오픈소스로 공개됐다.
4개 실행 결과물 — 직접 비교
각 영상은 모델이 자율적으로 조립한 최종 결과물에 원본 음악을 믹싱한 풀 길이 영상이다.
Claude Fable 5 · $25
GPT-5.6 Sol · $25
Claude Fable 5 · $100
GPT-5.6 Sol · $100
핵심 수치 — 4개 실행 비교
| 모델 | 예산 | 소요 시간 | 단계 수 | 생성 영상 | 실패 호출 | 생성 비용 | 해상도 |
|---|---|---|---|---|---|---|---|
| Claude Fable 5 | $25 | 39분 10초 | 25 | 54개 | 1회 | $24.30 | 1280×720 |
| GPT-5.6 Sol | $25 | 42분 52초 | 38 | 이미지 61 + 영상 46 | 10회 | $23.18 | 1280×720 |
| GPT-5.6 Sol | $100 | 49분 39초 | 34 | 70개 | 2회 | $36.57 | 1280×720 |
| Claude Fable 5 | $100 | 38분 56초 | 28 | 80개 | 0회 | $48.60 | 1920×1080 |
어떤 AI 영상 모델을 선택했나
도구를 스스로 선택할 수 있게 했을 때 두 모델의 전략이 뚜렷하게 갈렸다.
| 실행 | 이미지 모델 | 영상 모델 | 방식 |
|---|---|---|---|
| Fable 5 · $25 | 없음 | Wan 2.5 t2v ($0.05/초) | 텍스트→영상 단일 파이프라인 |
| Sol · $25 | FLUX schnell ($0.003/장) | Wan 2.2-5b i2v ($0.10/초) | 키프레임 이미지 → 영상 변환 |
| Sol · $100 | 없음 | Wan 2.5 + Veo 3.1 Lite + Hailuo 2.3 Standard | 텍스트→영상, 멀티 모델 혼합 |
| Fable 5 · $100 | 없음 | Seedance 1.0 Pro t2v (~$0.12/초) | 텍스트→영상 단일 파이프라인 |
Claude Fable 5는 두 예산 모두 순수 텍스트→영상 방식을 고수했다. $25에서는 저렴한 Wan 2.5를, $100에서는 더 고품질의 Seedance 1.0 Pro를 선택해 1920×1080 해상도를 달성했다. GPT-5.6 Sol은 $25에서는 FLUX schnell로 이미지를 먼저 생성한 후 영상으로 변환하는 방식을 택했고, $100에서는 Wan 2.5, Veo 3.1 Lite, Hailuo 2.3 Standard 세 가지 모델을 하나의 실행에서 혼합 사용하는 실험적 접근을 했다.
차트 — 소요 시간 비교
차트 — 생성 수량 비교
실제 총 비용 — LLM 토큰 비용까지 합산하면
예산은 FAL 영상 생성 비용만 제한한다. 여기에 LLM 토큰 비용(Claude Fable 5: 입력 $10/백만, 출력 $50/백만 / GPT-5.6 Sol: 입력 $5/백만, 출력 $30/백만)을 합산하면 실제 총비용이 나온다.
| 실행 | 생성 비용 | LLM 토큰 비용 | 총 비용 |
|---|---|---|---|
| Fable 5 · $25 | $24.30 | $16.99 | $41.29 |
| Sol · $25 | $23.18 | $4.27 | $27.45 |
| Sol · $100 | $36.57 | $3.25 | $39.82 |
| Fable 5 · $100 | $48.60 | $25.05 | $73.65 |
Claude Fable 5의 토큰 비용이 GPT-5.6 Sol보다 4~5배 높다. Claude Fable 5 $100 실행의 총비용은 $73.65로 가장 높았으나, TryAI는 주관적으로 이 버전의 영상 품질을 가장 선호했다고 밝혔다.
오류 발생 비교
Claude Fable 5 $100 실행은 실패 호출 0회로 가장 안정적이었다. GPT-5.6 Sol $25는 10회의 실패 호출이 발생했는데, 이는 주로 일시적인 네트워크 오류였다. 비용은 청구되지 않지만 재시도에 단계를 소비했다.
툴 사용 분포 — 두 모델의 접근 방식 차이
TryAI의 총평 — 어디서 아직 부족한가
- 캐릭터·스토리 일관성 부재: 4개 실행 모두 등장 캐릭터가 샷마다 달라지고, 처음부터 끝까지 일관된 스토리를 유지한 영상이 없었다.
- 가사를 너무 문자 그대로 해석: “Make a dragon wanna retire, man”이라는 가사에 실제 용이 등장했다. 몇 샷은 흥미롭지만 전체적으로 어색해졌다.
- 박자 매칭 미흡: ffmpeg 비트 감지로 컷은 박자에 맞췄지만, 클립 안의 움직임(춤, 카메라 동작)이 곡의 템포와 맞지 않아 어색함이 남았다.
- GPT-5.6 Sol $25가 가장 창의적인 편집: 텍스트 오버레이, 이미지에 영상 효과를 적용하는 등 다른 실행이 시도하지 않은 기법을 활용했다.
- 자기 검토 없음: 클립이 생성되면 이어 붙여서 결합하는 게 전부였다. 생성된 클립의 품질을 스스로 평가하고 재생성하는 자기 검토 루프가 없었다.
- $100 예산이 너무 많았다: 두 모델 모두 예산 한도를 쓰려 하지 않았다. 캐릭터 이미지를 미리 생성해 일관성을 확보하는 데 활용할 수 있었지만 둘 다 그런 선택을 하지 않았다.
- Claude Fable 5가 더 비싸다: 총비용 기준 $41.29~$73.65로, GPT-5.6 Sol($27.45~$39.82)보다 높았다. 그러나 TryAI는 Fable 5 $100 실행 결과를 주관적으로 가장 선호했다.
직접 실행해보기
전체 하네스는 오픈소스로 공개됐다. 자신의 곡과 예산으로 원하는 모델을 비교 실험해볼 수 있다.
👉 github.com/hershalb/music-video-arena
의의 및 전망
이 실험의 진짜 가치는 결과물의 품질보다 과정에 있다. AI 에이전트가 예산 제약 안에서 어떤 영상 모델을 선택하고, 어떻게 편집을 결정하고, 오류를 처리하는지를 완전히 추적 가능한 형태로 공개했다. Seedance 1.0 Pro, Wan 2.5, Veo 3.1 Lite, Hailuo 2.3 같은 AI 영상 생성 모델들이 실제 자율 에이전트 환경에서 어떻게 선택되고 활용되는지 보여주는 데이터이기도 하다. 자기 검토 루프의 부재, 가사의 과도하게 문자적인 해석, 캐릭터 일관성 문제는 AI 영상 에이전트가 상업적 수준의 크리에이티브 파트너로 자리잡기 위해 해결해야 할 과제들이다. 그 시점이 언제일지는 아직 불분명하지만, 이 실험은 그 간격이 어디에 있는지를 명확하게 보여준다.
📅 원문 날짜: 2026년 7월 16일 | 출처: TryAI.dev · GitHub (오픈소스)
