工程實作 19 min read

AI 做 3D 遊戲怎麼做?拆解 Sumiro 24 小時流程,我照做一款水墨跳台

Sumiro 是作者自稱 24 小時、主要靠 Claude Opus 5.5 寫成的水墨 3D 跳台遊戲,做法來自開源的 Video2Game skill:先生一支 AI 影片當設計稿,再讓 agent 照著做。我用本機 RTX 4070 照做一款《燈靈渡海》,參考影片 110 秒、正式站 11 項測試全過——配色和元素對了,角色與質感要靠圖轉 3D 才補得上。

AI 做 3D 遊戲怎麼做?拆解 Sumiro 24 小時流程,我照做一款水墨跳台
本文目錄 · 7
懶人包
  • Sumiro 是一款水墨風的瀏覽器 3D 動作跳台遊戲,作者說用約 24 小時、主要靠 Claude Opus 5.5 寫程式做完,可以在 sumirro.vercel.app 直接玩;IG 轉貼文 2026-11-07 發出,有 3,133 讚。
  • 它的做法是先生一支 AI 參考影片當設計稿,再照影片做角色、場景和關卡。這套方法來自開源的 Video2Game skill(MIT),它的 31 款範例遊戲共花 202 美元、平均每款約 6 美元。
  • 我用本機 RTX 4070 照同一套流程做了一款原創的水墨跳台遊戲《燈靈渡海》:ComfyUI Wan2.2 生參考影片花 110 秒,遊戲是單檔 Three.js,正式站上 11 項 Playwright 自動測試全過。
  • 把參考影片和遊戲畫面並排,紅圍巾、石磚柱、雪山這些元素都留下來了,水墨的柔和感和角色造型則沒有。差距出在我跳過了「從影片畫格生成 3D 模型」這一步。
  • 想照做的話,參考影片和程式本機就能完成;要做到 Sumiro 的精緻度,還需要圖片生成、圖轉 3D 這類付費服務。

Sumiro 這兩天在 IG 和 X 上被轉了不少次,標題都是「24 小時用 AI 做出完整 3D 遊戲」。我比較在意的是它的工作順序:先生一支影片,再讓 coding agent 照著影片做遊戲。這篇拆開 Sumiro 和它的方法來源 Video2Game 實際怎麼做,再記錄我在自己電腦上照同一套流程做出的《燈靈渡海》,包括做到了什麼、哪裡差最多。

遊戲已上線,手機也能玩:html.yanchen.app/lantern-wisp。

Sumiro 是什麼遊戲?

Sumiro 是水墨畫風的 3D 動作跳台遊戲,主角在霧中山路上攀爬、跳躍、戰鬥,全部跑在瀏覽器裡,沒有後端。

我讀到的來源有三層:

來源內容我怎麼查證
IG 轉貼(viral.coder,2026-11-07)介紹作者 Shikhar 用 Claude Opus 5.5 寫程式、其他 AI 工具做畫面未登入抓公開頁,3,133 讚、55 則留言
作者 X 串文開頭寫「I made a full original game in 24 hours using AI」直接抓原文被擋(HTTP 402),只能從搜尋摘要看到,這層我沒讀到全文
GitHub 1anc6/Sumiro README完整的製作步驟、技術規格、檔案清單2026-11-10 直接讀 raw README
README 列出的技術規格:
  • Three.js r187、WebGL 2,水墨效果用自寫的 GLSL shader。
  • 50 個壓縮過的 JS 模組約 2.5 MB,26 個 .glb 模型,66 張貼圖與背景圖。
  • 音效全部用 Web Audio API 在程式裡合成,沒有任何音檔。
  • 碰撞、攀爬、戰鬥、圍巾布料都是自己寫的,沒用物理引擎。
  • 共 6 章:climb、pass、pines、temple、sea、summit。
兩點要先說清楚。第一,「24 小時」是作者自己說的,沒有第三方能驗。第二,repo 擁有者是 1anc6,X 帳號是 xikhar,兩者的關係我查不到;repo 也沒有授權條款,所以只能玩、只能讀,不能拿它的素材或程式碼來用。

Sumiro 的 24 小時流程怎麼做?

README 把流程寫成 6 步:

步驟做了什麼工具
1. 生影片生一支「旅人在霧中山階攀爬」的短片,畫風、世界和角色都以它為準Flux 3 Max(在 fal 上跑)
2. 建場景從影片截圖,在 Blender 重建懸崖、松樹、山門、石階,放進 Three.js;同時開多個 Claude Code agent 寫程式和檢查Blender、Three.js、Claude Code
3. 做角色從影片截出旅人,生四個方向的三視圖,再轉成 3D 模型;布料和動畫由 Claude 寫GPT Image、Tripo、Claude Opus
4. 試玩原型先做第一章懸崖路,確認移動和鏡頭沒問題才往下做瀏覽器試玩
5. 每關概念圖用同一個畫風,每關最多生 8 張概念圖GPT Image
6. 建關卡、反覆修把概念圖做成可玩的 3D 關卡,玩、回報 bug、讓 agent 修,一直重複Claude Code、Three.js
這張表裡,影片出現在最前面,後面每一步都在「讓遊戲長得像影片」。AI 寫程式的部分集中在第 2、3、6 步,畫面全部交給圖片和 3D 生成工具。

README 寫明這個方法的靈感來自 Lovis Odin 的 Video2Game。

Video2Game 是什麼?

lovisdotio/video-to-game 是一支給 coding agent 用的 skill,MIT 授權,2026-11-10 我查到 568 顆星。它把「影片變遊戲」拆成固定流程,Claude Code、Codex、Cursor、Gemini CLI 都能用。

README 寫的核心想法:agent 不會設計遊戲的外觀,叫它做「男孩在飛鯨之間滑翔」,它會交出灰色方塊和預設天空。影片模型剛好擅長這件事,所以讓影片先定外觀,agent 負責照著做。

流程分成幾段:

  1. study_video.py 把影片拆成畫格、一張縮圖總表、調色盤和切點時間,agent 依此寫規格(鏡頭、主角、唯一的核心玩法、外觀)。
  2. 所有素材都從影片自己的畫格生成,經 fal 呼叫圖片、圖轉 3D(Meshy、Tripo、Hunyuan 3D)、骨架動畫、音效和音樂。
  3. 每次改完,用 side_by_side.py 在同樣三個位置把影片和遊戲並排比對。
  4. agent 用鍵盤腳本自己玩,record_play.mjs 錄下來,best_window.py 挑出最精彩的幾秒。
作者附了 31 款範例遊戲,每款都從一支 10 到 15 秒、用 MiniMax H3 Max 生的影片開始。全部共 1,013 次 fal 呼叫(594 張圖、194 個 3D 模型、290 段音效和音樂),總共 202 美元,平均每款約 6 美元,最便宜的 Paper Dragon 0.79 美元、最貴的 Train Painter 15.48 美元。每款都是單一 index.html 加 Three.js,沒有其他函式庫。

安裝方式(README 原文,我還沒裝):

claude plugin marketplace add lovisdotio/video-to-game
claude plugin install video-to-game@video-to-game

前置需求是 Python 3.9+、ffmpeg、Node 18+ 加 playwright-core,以及 pip install fal-client 和一把 FAL_KEY。素材生成這段要付 fal 的錢,這是它跟純本機流程最大的差別。

不像就改

AI 參考影片

拆畫格與調色盤

寫遊戲規格

從畫格生圖與 3D 模型

Three.js 實作

agent 自己試玩錄影

影片與遊戲並排比對

我怎麼在本機照同一套流程做一款?

我想知道的是:不付 fal、只用自己電腦上有的東西,這套流程能走到哪。條件是 RTX 4070、本機 ComfyUI、Claude Code,題材換成原創的「提燈小靈跳石柱渡海」,不用 Sumiro 的任何素材。

第一步:用 ComfyUI Wan2.2 生參考影片

本機 ComfyUI 有 Wan2.2 的影片模型,我用 ti2v 5B 直接文字生影片。設定:

項目值
模型wan2.2_ti2v_5B_fp16.safetensors
解析度、幀數704×384、49 幀
取樣20 steps
耗時110 秒(log:status success elapsed 110)
提示詞重點是畫風和遊戲元素,最後一句明講這是遊戲參考鏡頭:
traditional chinese ink wash painting, sumi-e on rice paper, a small glowing paper-lantern spirit
wearing a long flowing red scarf hops from one tall stone pillar to the next above a misty sea,
distant pine-covered mountains, soft grey ink gradients, third-person camera following from behind,
video game reference shot, calm, elegant brush strokes
ComfyUI Wan2.2 生成的水墨參考影片三個畫格:石磚柱、長紅圍巾、雪山松林

角色在影片裡幾乎沒動,「跳石柱」沒有出現。但畫風有了:灰階石磚柱、一條很長的紅綢、霧裡的雪山和松林。這三樣就是後面遊戲的美術規格。Wan2.2 在 RTX 4070 上的安裝與模型配置,我在巨大動物影片那篇寫過。

第二步:照影片寫單檔 Three.js 遊戲

接著讓 Claude Code 照著影片畫格寫遊戲。成品是一個 72 KB、386 行的 index.html,Three.js 0.170 從 CDN 載入。

從影片轉過來的部分:

  • 石柱:八角柱加石磚縫貼圖,三階墨色著色,外面套一層反向外殼當描邊。
  • 遠景:遠山加雪頂,霧中散落有松樹的小島。
  • 紅圍巾:影片裡最搶眼的元素,所以用布料物理做,下面細講。
  • 標題畫面:背景直接放參考影片的畫格。
玩法:23 跳的石柱路線(固定種子產生),8 盞燈籠,踩上去點亮就變成重生點;可以二段跳,掉海回到上一盞燈,抵達最後的大燈過關。鍵盤用 WASD 加滑鼠,手機有虛擬搖桿和跳躍鍵,音效用 Web Audio 合成。 燈靈渡海實機畫面:戴斗笠的燈靈披著紅圍巾站在石柱上,前方是蜿蜒的石柱路線

紅圍巾的布料怎麼寫?

圍巾是 20 列 × 2 欄的粒子網格,用 Verlet 積分:每個粒子只記「現在位置」和「上一幀位置」,速度從兩者相減得到。第一列兩個點釘在脖子上,其他點受重力和風,最後反覆把相鄰粒子拉回固定距離。核心迴圈:

// 積分:慣性 × 阻尼 + 風 + 重力
for (let i = 2; i < cloth.length; i++) {
  const q = cloth[i];
  _a.subVectors(q.p, q.prev).multiplyScalar(0.96);
  q.prev.copy(q.p);
  q.p.add(_a).addScaledVector(wind, dt * dt * (0.6 + 0.4 * Math.sin(t * 5 + i))).y -= 9.8 * dt * dt;
}
// 約束:跑 14 輪,把每對粒子拉回原本距離;釘點不動,只推另一端
for (let it = 0; it < 14; it++) for (const [i, j, rest] of constraints) {
  const A = cloth[i], B = cloth[j];
  _b.subVectors(B.p, A.p);
  const d = _b.length() || 1e-6;
  const diff = (d - rest) / d * 0.5;
  const pinA = i < 2, pinB = j < 2;
  if (!pinA && !pinB) { A.p.addScaledVector(_b, diff); B.p.addScaledVector(_b, -diff); }
  else if (pinA && !pinB) B.p.addScaledVector(_b, -diff * 2);
  else if (!pinA && pinB) A.p.addScaledVector(_b, diff * 2);
}

約束之後還有兩道碰撞:粒子不能進入身體那顆球,也不能穿過石柱頂面。第一版沒有這兩道,長圍巾會被拉長變形、插進石柱裡,截圖一看就很明顯。Sumiro 的 README 也寫圍巾布料是自己寫的程式,看來這是這類題材繞不開的一塊。

第三步:讓自動測試代替手動試玩

Video2Game 讓 agent 自己玩自己的遊戲,我用 Playwright 做同一件事:遊戲把狀態掛在 window.__game,測試腳本按鍵、讀位置、檢查結果。可達性那一項是用遊戲同一組重力、速度、跳躍參數模擬「邊緣起跳加頂點二段跳」,算每一跳的餘裕。對正式站跑的結果:

PASS  站在起點石柱上(未掉海)  y=2.00
PASS  W 鍵可移動  位移 1.22
PASS  空白鍵可跳  y 2.00 → 3.73
PASS  圍巾布料數值穩定(無 NaN、段長 ≤ 1.3×0.13)  maxSeg=0.139
PASS  圍巾受重力下垂  neck 2.95 tail 2.03
PASS  每一跳都物理可達(二段跳餘裕 > 0.5)  最緊的是第 14 跳,餘裕 3.79m,共 23 跳
PASS  掉進海會計次並回到檢查點  falls=1 y=2.00
PASS  踩上燈柱就會點燈  7/7 盞路燈
PASS  抵達大燈顯示勝利畫面  {"won":true,"text":"渡海成功","vis":"flex"}
PASS  手機橫向顯示觸控搖桿  display=block
PASS  沒有 console / page error
11/11 passed

截圖之外,這份測試抓到的另一件事是難度太低:最難的一跳還有 3.79 公尺的餘裕,等於不用二段跳也過得去。測試證明「每一跳都跳得到」,好不好玩要另外調。

燈靈渡海手機橫向畫面:左下角虛擬搖桿、右下角紅色跳躍鍵

上一輪任務 11:40 開始,11:48 正式站測試跑完,中間包含 110 秒的影片生成、寫遊戲、修 bug 和上傳。範圍是一關、沒有敵人、角色是幾何體,跟 Sumiro 的 6 章不能直接比時間。

參考影片跟成品差在哪?

Video2Game 要求每次改完都把影片和遊戲並排看。我把參考影片的一格和遊戲畫面放在一起:

左邊是 Wan2.2 參考影片畫格,右邊是燈靈渡海遊戲畫面,石柱、紅圍巾、雪山都有,但水墨暈染與角色造型差很多
元素參考影片我的遊戲原因
石磚柱高聳、深灰、有屋簷矮胖八角柱、淺灰程式產生的幾何體,沒有從畫格建模
紅圍巾很長、往側面飄開有布料物理,但多半被身體擋住參考影片是側面鏡頭,遊戲鏡頭在角色正後方
遠景層層霧氣、松林、雪山有雪山和松樹,霧氣層次少只用 Three.js 內建霧,沒做水墨暈染 shader
角色有臉、有造型的燈靈黃色球加斗笠沒有圖轉 3D 這一步
差距最大的是角色和整體質感,正好對應 Sumiro 流程第 2、3 步(Blender 重建場景、GPT Image 加 Tripo 做角色),也是 Video2Game 花錢在 fal 的地方。本機目前只有 Wan2.2 影片模型,沒有生圖和 3D 生成模型,這兩步只能先用程式幾何體代替。

影片負責定方向,模型生成負責把方向變成畫面。 少了後者,影片的價值會掉到剩一張調色盤加元素清單,還是有用,但看起來就是「程式畫的遊戲」。

想自己做 AI 3D 遊戲,要準備什麼?

依你願意花的錢和時間分三種:

做法需要畫面能到哪
純本機(我這次)能跑 Wan2.2 的顯卡、ComfyUI、Claude Code風格和配色對,角色與場景是幾何體
裝 Video2Game上面加 fal 帳號和 FAL_KEY,作者範例平均每款約 6 美元素材都從畫格生成,接近影片
Sumiro 那樣多種生成工具加 Blender 手動整理,多章關卡6 章、26 個模型的完整小品
幾個實際的限制:
  • 生影片的模型不會照你的玩法演。我要的「跳石柱」影片裡沒出現,影片給的是外觀,不是玩法。
  • 核心玩法要先做出一關確認。Sumiro 也是先做第一章懸崖路,確認移動和鏡頭,才往下做。
  • 授權要分開看。Video2Game 是 MIT;Sumiro 沒有授權條款,不能抄它的素材。
  • 自動測試能證明「能玩」,證明不了「好玩」。難度、節奏還是要人去玩。
如果你想先理解「讓 Claude Code 從零寫一個遊戲」需要哪些工程習慣,可以看用 Claude Code 從零做一款遊戲;想做不用 three.js 的輕量版本,可以看偽 3D 賽車道路那篇。

我的下一步會是補上圖轉 3D:用參考影片的畫格生出燈靈的模型,再跑一次並排比對,看角色那一欄能縮小多少差距。

延伸資源

author
陳
陳彥彤

AI 工程師 · AI 顧問。Java 後端 8 年、AI 工程師 2 年。AI 內訓 · AI 導入顧問 · 前後端與雲端培訓。

support

覺得文章有用可以到 GitHub 給個 star,或是透過信箱聊聊 AI 內訓、AI 導入顧問或前後端 / 雲端培訓。

related

相關文章

[AI 工具] · 19min
Claude 接 MCP 做 AI 影片:Higgsfield 真的無限免費嗎?我用本機 Wan2.2 做了免費版
Higgsfield MCP 是一個 hosted MCP server,接進 Claude 後能直接叫 Kling、Veo、Seedance 生影片;IG 業配說的「3 天免費、無限使用」只適用網頁手動生成,MCP 官方寫明一律扣 credits。我照同樣形狀寫了本機版接 ComfyUI Wan2.2,Claude Code 一支 2 秒短片 99 秒、0.66 美元、影片 0 credits——畫質只到草稿等級。
[AI 工具] · 16min
Claude 做動畫 6 步實跑:23 秒配音直式短片,鏡頭跟著配音秒數切、自檢 6 輪才過
IG 上「我用 Claude 做動畫,6 個步驟全部給你」要留言才拿得到指令,我照公開的 6 步自己補上工具:Claude Code 寫程式、edge-tts 配音、HyperFrames 渲染、ComfyUI 生角色,做出 23 秒 1080×1920 的配音短片。關鍵是配音時抓每句秒數當鏡頭切點——check 自檢 6 輪擋下字型、對比、影片層級錯誤,但字幕斷字還是要人眼看。
[AI 工具] · 19min
AI K-pop 跳舞影片怎麼做?角色照→6 格分鏡→舞台影片,本機 ComfyUI Wan2.2 實測 13 分鐘
Threads 上 @nkriderking 用兩句 prompt 做出自己角色跳 K-pop 的影片:ChatGPT 把角色照做成多格分鏡,Gemini 再把分鏡變成舞台影片。我在 RTX 4070 用 ComfyUI Wan2.2 5B 重做一遍,主圖跑短 i2v 取最後一幀當分鏡,6 格角色都沒跑掉,12 秒成品純生成約 13 分鐘——代價是段落硬切、沒聲音、只有 480×832。