懶人包
- Sumiro 是一款水墨風的瀏覽器 3D 動作跳台遊戲,作者說用約 24 小時、主要靠 Claude Opus 5.5 寫程式做完,可以在 sumirro.vercel.app 直接玩;IG 轉貼文 2026-11-07 發出,有 3,133 讚。
- 它的做法是先生一支 AI 參考影片當設計稿,再照影片做角色、場景和關卡。這套方法來自開源的 Video2Game skill(MIT),它的 31 款範例遊戲共花 202 美元、平均每款約 6 美元。
- 我用本機 RTX 4070 照同一套流程做了一款原創的水墨跳台遊戲《燈靈渡海》:ComfyUI Wan2.2 生參考影片花 110 秒,遊戲是單檔 Three.js,正式站上 11 項 Playwright 自動測試全過。
- 把參考影片和遊戲畫面並排,紅圍巾、石磚柱、雪山這些元素都留下來了,水墨的柔和感和角色造型則沒有。差距出在我跳過了「從影片畫格生成 3D 模型」這一步。
- 想照做的話,參考影片和程式本機就能完成;要做到 Sumiro 的精緻度,還需要圖片生成、圖轉 3D 這類付費服務。
Sumiro 這兩天在 IG 和 X 上被轉了不少次,標題都是「24 小時用 AI 做出完整 3D 遊戲」。我比較在意的是它的工作順序:先生一支影片,再讓 coding agent 照著影片做遊戲。這篇拆開 Sumiro 和它的方法來源 Video2Game 實際怎麼做,再記錄我在自己電腦上照同一套流程做出的《燈靈渡海》,包括做到了什麼、哪裡差最多。
遊戲已上線,手機也能玩:html.yanchen.app/lantern-wisp。
Sumiro 是什麼遊戲?
Sumiro 是水墨畫風的 3D 動作跳台遊戲,主角在霧中山路上攀爬、跳躍、戰鬥,全部跑在瀏覽器裡,沒有後端。
我讀到的來源有三層:
| 來源 | 內容 | 我怎麼查證 |
|---|---|---|
| IG 轉貼(viral.coder,2026-11-07) | 介紹作者 Shikhar 用 Claude Opus 5.5 寫程式、其他 AI 工具做畫面 | 未登入抓公開頁,3,133 讚、55 則留言 |
| 作者 X 串文 | 開頭寫「I made a full original game in 24 hours using AI」 | 直接抓原文被擋(HTTP 402),只能從搜尋摘要看到,這層我沒讀到全文 |
| GitHub 1anc6/Sumiro README | 完整的製作步驟、技術規格、檔案清單 | 2026-11-10 直接讀 raw README |
- Three.js r187、WebGL 2,水墨效果用自寫的 GLSL shader。
- 50 個壓縮過的 JS 模組約 2.5 MB,26 個
.glb模型,66 張貼圖與背景圖。 - 音效全部用 Web Audio API 在程式裡合成,沒有任何音檔。
- 碰撞、攀爬、戰鬥、圍巾布料都是自己寫的,沒用物理引擎。
- 共 6 章:climb、pass、pines、temple、sea、summit。
1anc6,X 帳號是 xikhar,兩者的關係我查不到;repo 也沒有授權條款,所以只能玩、只能讀,不能拿它的素材或程式碼來用。
Sumiro 的 24 小時流程怎麼做?
README 把流程寫成 6 步:
| 步驟 | 做了什麼 | 工具 |
|---|---|---|
| 1. 生影片 | 生一支「旅人在霧中山階攀爬」的短片,畫風、世界和角色都以它為準 | Flux 3 Max(在 fal 上跑) |
| 2. 建場景 | 從影片截圖,在 Blender 重建懸崖、松樹、山門、石階,放進 Three.js;同時開多個 Claude Code agent 寫程式和檢查 | Blender、Three.js、Claude Code |
| 3. 做角色 | 從影片截出旅人,生四個方向的三視圖,再轉成 3D 模型;布料和動畫由 Claude 寫 | GPT Image、Tripo、Claude Opus |
| 4. 試玩原型 | 先做第一章懸崖路,確認移動和鏡頭沒問題才往下做 | 瀏覽器試玩 |
| 5. 每關概念圖 | 用同一個畫風,每關最多生 8 張概念圖 | GPT Image |
| 6. 建關卡、反覆修 | 把概念圖做成可玩的 3D 關卡,玩、回報 bug、讓 agent 修,一直重複 | Claude Code、Three.js |
README 寫明這個方法的靈感來自 Lovis Odin 的 Video2Game。
Video2Game 是什麼?
lovisdotio/video-to-game 是一支給 coding agent 用的 skill,MIT 授權,2026-11-10 我查到 568 顆星。它把「影片變遊戲」拆成固定流程,Claude Code、Codex、Cursor、Gemini CLI 都能用。
README 寫的核心想法:agent 不會設計遊戲的外觀,叫它做「男孩在飛鯨之間滑翔」,它會交出灰色方塊和預設天空。影片模型剛好擅長這件事,所以讓影片先定外觀,agent 負責照著做。
流程分成幾段:
study_video.py把影片拆成畫格、一張縮圖總表、調色盤和切點時間,agent 依此寫規格(鏡頭、主角、唯一的核心玩法、外觀)。- 所有素材都從影片自己的畫格生成,經 fal 呼叫圖片、圖轉 3D(Meshy、Tripo、Hunyuan 3D)、骨架動畫、音效和音樂。
- 每次改完,用
side_by_side.py在同樣三個位置把影片和遊戲並排比對。 - agent 用鍵盤腳本自己玩,
record_play.mjs錄下來,best_window.py挑出最精彩的幾秒。
index.html 加 Three.js,沒有其他函式庫。
安裝方式(README 原文,我還沒裝):
claude plugin marketplace add lovisdotio/video-to-game
claude plugin install video-to-game@video-to-game
前置需求是 Python 3.9+、ffmpeg、Node 18+ 加 playwright-core,以及 pip install fal-client 和一把 FAL_KEY。素材生成這段要付 fal 的錢,這是它跟純本機流程最大的差別。
我怎麼在本機照同一套流程做一款?
我想知道的是:不付 fal、只用自己電腦上有的東西,這套流程能走到哪。條件是 RTX 4070、本機 ComfyUI、Claude Code,題材換成原創的「提燈小靈跳石柱渡海」,不用 Sumiro 的任何素材。
第一步:用 ComfyUI Wan2.2 生參考影片
本機 ComfyUI 有 Wan2.2 的影片模型,我用 ti2v 5B 直接文字生影片。設定:
| 項目 | 值 |
|---|---|
| 模型 | wan2.2_ti2v_5B_fp16.safetensors |
| 解析度、幀數 | 704×384、49 幀 |
| 取樣 | 20 steps |
| 耗時 | 110 秒(log:status success elapsed 110) |
traditional chinese ink wash painting, sumi-e on rice paper, a small glowing paper-lantern spirit
wearing a long flowing red scarf hops from one tall stone pillar to the next above a misty sea,
distant pine-covered mountains, soft grey ink gradients, third-person camera following from behind,
video game reference shot, calm, elegant brush strokes
角色在影片裡幾乎沒動,「跳石柱」沒有出現。但畫風有了:灰階石磚柱、一條很長的紅綢、霧裡的雪山和松林。這三樣就是後面遊戲的美術規格。Wan2.2 在 RTX 4070 上的安裝與模型配置,我在巨大動物影片那篇寫過。
第二步:照影片寫單檔 Three.js 遊戲
接著讓 Claude Code 照著影片畫格寫遊戲。成品是一個 72 KB、386 行的 index.html,Three.js 0.170 從 CDN 載入。
從影片轉過來的部分:
- 石柱:八角柱加石磚縫貼圖,三階墨色著色,外面套一層反向外殼當描邊。
- 遠景:遠山加雪頂,霧中散落有松樹的小島。
- 紅圍巾:影片裡最搶眼的元素,所以用布料物理做,下面細講。
- 標題畫面:背景直接放參考影片的畫格。
紅圍巾的布料怎麼寫?
圍巾是 20 列 × 2 欄的粒子網格,用 Verlet 積分:每個粒子只記「現在位置」和「上一幀位置」,速度從兩者相減得到。第一列兩個點釘在脖子上,其他點受重力和風,最後反覆把相鄰粒子拉回固定距離。核心迴圈:
// 積分:慣性 × 阻尼 + 風 + 重力
for (let i = 2; i < cloth.length; i++) {
const q = cloth[i];
_a.subVectors(q.p, q.prev).multiplyScalar(0.96);
q.prev.copy(q.p);
q.p.add(_a).addScaledVector(wind, dt * dt * (0.6 + 0.4 * Math.sin(t * 5 + i))).y -= 9.8 * dt * dt;
}
// 約束:跑 14 輪,把每對粒子拉回原本距離;釘點不動,只推另一端
for (let it = 0; it < 14; it++) for (const [i, j, rest] of constraints) {
const A = cloth[i], B = cloth[j];
_b.subVectors(B.p, A.p);
const d = _b.length() || 1e-6;
const diff = (d - rest) / d * 0.5;
const pinA = i < 2, pinB = j < 2;
if (!pinA && !pinB) { A.p.addScaledVector(_b, diff); B.p.addScaledVector(_b, -diff); }
else if (pinA && !pinB) B.p.addScaledVector(_b, -diff * 2);
else if (!pinA && pinB) A.p.addScaledVector(_b, diff * 2);
}
約束之後還有兩道碰撞:粒子不能進入身體那顆球,也不能穿過石柱頂面。第一版沒有這兩道,長圍巾會被拉長變形、插進石柱裡,截圖一看就很明顯。Sumiro 的 README 也寫圍巾布料是自己寫的程式,看來這是這類題材繞不開的一塊。
第三步:讓自動測試代替手動試玩
Video2Game 讓 agent 自己玩自己的遊戲,我用 Playwright 做同一件事:遊戲把狀態掛在 window.__game,測試腳本按鍵、讀位置、檢查結果。可達性那一項是用遊戲同一組重力、速度、跳躍參數模擬「邊緣起跳加頂點二段跳」,算每一跳的餘裕。對正式站跑的結果:
PASS 站在起點石柱上(未掉海) y=2.00
PASS W 鍵可移動 位移 1.22
PASS 空白鍵可跳 y 2.00 → 3.73
PASS 圍巾布料數值穩定(無 NaN、段長 ≤ 1.3×0.13) maxSeg=0.139
PASS 圍巾受重力下垂 neck 2.95 tail 2.03
PASS 每一跳都物理可達(二段跳餘裕 > 0.5) 最緊的是第 14 跳,餘裕 3.79m,共 23 跳
PASS 掉進海會計次並回到檢查點 falls=1 y=2.00
PASS 踩上燈柱就會點燈 7/7 盞路燈
PASS 抵達大燈顯示勝利畫面 {"won":true,"text":"渡海成功","vis":"flex"}
PASS 手機橫向顯示觸控搖桿 display=block
PASS 沒有 console / page error
11/11 passed
截圖之外,這份測試抓到的另一件事是難度太低:最難的一跳還有 3.79 公尺的餘裕,等於不用二段跳也過得去。測試證明「每一跳都跳得到」,好不好玩要另外調。
上一輪任務 11:40 開始,11:48 正式站測試跑完,中間包含 110 秒的影片生成、寫遊戲、修 bug 和上傳。範圍是一關、沒有敵人、角色是幾何體,跟 Sumiro 的 6 章不能直接比時間。
參考影片跟成品差在哪?
Video2Game 要求每次改完都把影片和遊戲並排看。我把參考影片的一格和遊戲畫面放在一起:
| 元素 | 參考影片 | 我的遊戲 | 原因 |
|---|---|---|---|
| 石磚柱 | 高聳、深灰、有屋簷 | 矮胖八角柱、淺灰 | 程式產生的幾何體,沒有從畫格建模 |
| 紅圍巾 | 很長、往側面飄開 | 有布料物理,但多半被身體擋住 | 參考影片是側面鏡頭,遊戲鏡頭在角色正後方 |
| 遠景 | 層層霧氣、松林、雪山 | 有雪山和松樹,霧氣層次少 | 只用 Three.js 內建霧,沒做水墨暈染 shader |
| 角色 | 有臉、有造型的燈靈 | 黃色球加斗笠 | 沒有圖轉 3D 這一步 |
影片負責定方向,模型生成負責把方向變成畫面。 少了後者,影片的價值會掉到剩一張調色盤加元素清單,還是有用,但看起來就是「程式畫的遊戲」。
想自己做 AI 3D 遊戲,要準備什麼?
依你願意花的錢和時間分三種:
| 做法 | 需要 | 畫面能到哪 |
|---|---|---|
| 純本機(我這次) | 能跑 Wan2.2 的顯卡、ComfyUI、Claude Code | 風格和配色對,角色與場景是幾何體 |
| 裝 Video2Game | 上面加 fal 帳號和 FAL_KEY,作者範例平均每款約 6 美元 | 素材都從畫格生成,接近影片 |
| Sumiro 那樣 | 多種生成工具加 Blender 手動整理,多章關卡 | 6 章、26 個模型的完整小品 |
- 生影片的模型不會照你的玩法演。我要的「跳石柱」影片裡沒出現,影片給的是外觀,不是玩法。
- 核心玩法要先做出一關確認。Sumiro 也是先做第一章懸崖路,確認移動和鏡頭,才往下做。
- 授權要分開看。Video2Game 是 MIT;Sumiro 沒有授權條款,不能抄它的素材。
- 自動測試能證明「能玩」,證明不了「好玩」。難度、節奏還是要人去玩。
我的下一步會是補上圖轉 3D:用參考影片的畫格生出燈靈的模型,再跑一次並排比對,看角色那一欄能縮小多少差距。
延伸資源
- Sumiro 線上版:原作,瀏覽器直接玩。
- 1anc6/Sumiro:README 有完整製作步驟和技術規格(無授權條款)。
- lovisdotio/video-to-game:Video2Game skill,MIT 授權,含 31 款範例的提示詞、fal 呼叫紀錄和成本。
- 燈靈渡海:我這次照流程做的版本,單檔 HTML。