懶人包
- vork 是給 AI agent 用的無介面 3D/VFX 引擎:agent 寫場景檔、算圖、看圖、再修改,沒有編輯器要操作。
- 我在 RTX 4070 跑 vork 0.2.0:5 版場景迭代成功,最後一版 72 幀 540p 動畫 3.76 秒算完。
- 官方實拍合成範例也跑通,攝影機追蹤誤差平均 0.33 像素;只改一個顏色重算 120 幀 540p 要 32.2 秒,實拍背景不動。
- 授權是 source-available,LICENSE 第一段寫明「It is not open source」;研究預覽期可免費商用,但不能散布修改版或做託管渲染服務。
- 畫面還有破綻:倒影碎成點狀、字樣倒影落在乾地面。沒有霧和體積效果,實拍合成也要靠外部工具前處理。
- 我的判斷:拿來做程式化片頭、產品動畫和 Shorts 素材值得試,當電影級 VFX 流程還太早。
這篇的起點是一支 41 秒的 Shorts,標題叫「有人真给AI造了个3D引擎!电影特效要变天了?」。字幕抓取連續回 HTTP 429,我沒拿到口白,只能依標題、說明和縮圖追到原始專案 vork,然後裝在自己的機器上跑一輪。
想回答的問題很實際:AI 操作 3D 引擎做特效,現在做得到多少?
vork 是什麼?
vork 全名 Voyager rendering kernel,由 Nullframe, Inc. 發布,用 Rust 和 Slang 寫成,透過 Vulkan 或 Metal 走硬體光追。它沒有視窗介面,場景是 JSON,也可以用 TypeScript 或 Python 產生。
工作方式只有一個迴圈:
- agent 寫場景檔。
vork render算出圖或影片。- agent 打開圖片判斷哪裡不對。
- 改數值或著色程式,再算一次。
std/previs 拿來快速預覽,std/draft 和 std/final 分別用 4 與 8 樣本加 OIDN 降噪,std/path 走路徑追蹤。材質、攝影機、光線傳播和合成都能用 Slang 程式自己寫。
官方 README 給 agent 的起手提示只有三句,要它 vork init、讀 vork help、算預覽並檢查圖片,先調好攝影機和燈光再出最終品質。
截至 2026-11-09,repo 在 2026-11-05 才建立,1076 stars、79 forks,最新版 v0.2.0 發布於 11-07。專案還在研究預覽期,版本變動很快。
vork 和 AI 影片生成差在哪?
生成式影片模型每次重算,畫面裡的東西都可能跟著變。vork 的物體、攝影機、燈光都是明確的數值,改哪個就只動哪個。
| 比較項目 | vork | 生成式影片模型 |
|---|---|---|
| 輸出來源 | 3D 場景經 GPU 算圖 | 模型從雜訊生成畫面 |
| 局部修改 | 改場景檔的欄位 | 通常要重新生成或局部重繪 |
| 攝影機與物體 | 明確數值,可重現 | 由提示詞和模型決定 |
| 資產來源 | 要自己寫或匯入幾何、材質 | 模型直接產生外觀 |
| 擅長 | 精確控制、重複修改、程式化畫面 | 寫實外觀、快速得到豐富畫面 |
硬體和安裝要準備什麼?
算圖需要 Apple Silicon,或支援硬體光追的近代 NVIDIA GPU。A100、H100、H200 這類沒有硬體光追的卡不支援。沒有合適 GPU 時,寫場景和 vork help 仍可使用。
我的環境是 Windows 11、RTX 4070 12GB、驅動 610.88。我從 GitHub Releases 下載 Windows zip,比對 SHA256SUMS 相符後解壓,沒有動全域 PATH;官方另外提供 install.ps1,這次我沒跑。Windows 輸出 MP4 還需要 ffmpeg。
下面是我在這台機器實際跑過的最短驗證,vork 代表解壓目錄裡的 vork.exe:
vork setup
vork init my-shot
cd my-shot
vork render scene.json --profile std/draft --out render.png
vork setup 約 150 秒,之後的實際輸出:
vork 0.2.0 (commit b65e3ded295e; API v2)
Rendered 1 frames in 3.603s; outputs: render.png
exposure: 0.6% clipped, 0% near-black, mean 0.52
exposure 這行對 agent 很有用:不看圖也能先知道畫面有沒有過曝或全黑。
AI 自己看圖改場景,改得動嗎?
我讓 Claude Code 當 agent,目標是做一顆發光球體和三個環繞的金屬方塊,地面要接到球的青色光。
| 版本 | 看圖發現的問題 | 下一步改動 |
|---|---|---|
| v1 | 球心過曝、地面太亮 | 壓低地面反照率,降主光 |
| v2 | 地面掠射反射變成灰帶 | 抬高鏡頭、大幅降低球體亮度 |
| v3/v4 | 亮度正常,但點光源被不透明的球擋住,地面沒有青光 | 把光移到球下方 |
| v5 | 達標 | 加上自寫的 Slang 流動材質 |
最有價值的是 v4 到 v5 那一步。「光被球擋住」不是調亮度能解決的,要讀懂場景的幾何關係,把光源從球心移到球下方。
| 項目 | 實測 |
|---|---|
| 冷啟動第一張(v1) | 22 秒 |
| 暖機後 draft,960x540 單張 | 0.7 秒 |
| 新 Slang 程式首次編譯 | 60 秒 |
| v5 final,72 幀 540p | 3.76 秒(約 19 fps) |
vork 怎麼把 CG 合進實拍?
我跑的是官方範例 examples/vfx-neon,場景和幾何都是官方的,不是我原創。素材是 Pexels 影片 18972999 「Ally」,作者 Rafael Fernanz。
實拍合成不是 vork 一鍵完成。範例靠 OpenCV、COLMAP、SAM2、Depth Anything 等工具先解算攝影機、做遮罩和幾何代理,vork 負責算圖與合成。
| 項目 | 實測 |
|---|---|
| 攝影機解算 | 2 分 41 秒 |
| held-out 重投影誤差 | 平均 0.33 px,最大 3.12 px |
| 牆面接點 homography 比較 | 平均 0.48 px,最大 1.12 px |
| 1080p 單張(首次,含 shader 編譯) | 250 秒 |
| 全片 120 幀 540p | 24.4 秒 |
| 改色後重算全片 | 32.2 秒 |
vork render clean.json --set resolution=960x540 --out ../frames_clean/ --frame-start 0 --frame-end 119
ffmpeg -framerate 24 -i ../frames_clean/%06d.png -c:v libx264 -crf 16 -pix_fmt yuv420p ../vfx-clean-540p.mp4
改一個顏色要重算多久?
改色只動 clean.json 裡 cyan 和 orbit 兩個材質的 emission_color,其他欄位完全不變:
{ "emission_color": [0.015, 0.65, 1] }
改成:
{ "emission_color": [1, 0.05, 0.45] }
重算 32.2 秒後,比對第 60 幀,只有 3.65% 的像素有變化(單通道差大於 8),改動集中在 CG 和它的倒影,實拍背景沒動。
這是 vork 最實用的能力。業主說「換個顏色」時,物體位置、攝影機和背景都還在原地。
官方說快過 Blender,要怎麼看?
官方自己標明這些是「not equal-quality speedups」。final 影片比 EEVEE 快 1.14 到 2.32 倍,但兩邊設定不同;路徑追蹤反而比 Cycles 慢 1.99 到 5.81 倍。README 也寫明 Blender 比較腳本目前在 Blender 5.2.1 上跑不動,獨立重現還做不到。
我沒有另外跑 Blender 對照,所以這篇只引用官方數字,不下「誰比較快」的結論。需要穩定的 Blender 自動化流程,可以參考我之前寫的 Claude 用 Blender 做 PDF 分鏡動畫。
vork 現在有哪些限制?
先看畫面。雕塑隨手持鏡頭穩定貼在場景裡,支架接牆的位置也對得上,但倒影放大看就露餡:
- 倒影偏碎:字樣的倒影已經看不出字。
- 倒影位置不對:字樣倒影落在乾燥路面,第 119 幀的雕塑倒影也跑出水窪範圍。
- Windows 讀影片失敗:直接讀
plate.mp4時出現[DXVA2] Failed to create Direct3D device。我改成 PNG 序列plate_seq/%04d.png才成功。 - 攝影機解算仍是暫定結果:驗證狀態為 PROVISIONAL,最佳化撞到 200 次評估上限,官方範例也註明長度、比例和離牆深度沒有獨立實測。
- 沒有霧和體積:官方寫明 fog 與 participating volumes 會被忽略,大場景和密集透明也可能失敗。
prepare.py 用 urllib 下載素材被 Pexels CDN 回 403,我改用 curl 下載,SHA256 與官方相符。系統 Python 3.11 裝不了 numpy 2.5.4,改用 uv 建 Python 3.12 環境。
這次全片只算到 540p,1080p 只驗了單張,沒有跑完整短片。
vork 的授權能商用嗎?
可以,但要看清楚範圍。LICENSE 寫明研究預覽期免費、可用於商業工作,你做出來的場景、程式和影片歸你。
| 行為 | 是否允許 |
|---|---|
| 公司內部使用、交付影片給客戶 | 可以 |
| 用 AI agent 操作 vork | 可以 |
| 修改後自己使用 | 可以 |
| 轉售 vork,或散布修改版 | 需書面許可 |
| 做讓別人提交場景的託管渲染服務 | 需書面許可 |
誰適合現在就試?
適合:
- 想用程式批次產片頭、產品旋轉動畫、Shorts 素材,而且需要反覆改色改字。
- 有 NVIDIA 光追卡或 Apple Silicon,願意接受研究預覽版的變動。
- 想研究 agent 如何用「算圖 → 看圖 → 修改」閉環操作視覺工具。
- 需要霧、體積光、複雜流體的電影級鏡頭。
- 要把渲染能力包成對外服務。
- 只想要寫實畫面,沒打算處理 3D 資產。
想試的話,先跑上面那四行指令,再把 scene.json 裡的一個顏色改掉重算一次,就能判斷這套流程適不適合你。
影片素材:「Ally」 by Rafael Fernanz / Pexels,依 Pexels License 修改。