Ollama Cloud 接到 hermes-agent 跟 LangChain:免費跑 Gemma4 31B 不用 GPU 完整指南

TL;DR

- 本文解決:怎麼免費跑 32B 大模型不用 GPU,而且兩行 .env 就能接到 hermes-agent / LangChain

- 推薦給:手邊已經在用 hermes / langchain 但想換到更便宜 / 更開源的後端、或想試免費 cloud LLM 但被本機硬體卡住的工程師

- 讀完你會知道:Ollama Cloud Free 額度是什麼、gemma4:31b-cloud 怎麼 round-trip 跑起來、hermes-agent 的 .env 為什麼早就預埋了這條、LangChain 兩種接法的差別、以及 cloud 跟本機 embedding 的真實坑

🎯 5 分鐘前我在自己 Mac 上裝完 Ollama Cloud,跑 ollama run gemma4:31b-cloud 真的回我訊息 — 本機完全沒吃 GPU,模型在 Ollama 雲端跑、終端機看 token 流出來。然後我發現一件更爽的事:我半年前裝的 hermes-agent 的 .env 早就把 Ollama Cloud 預埋好了,去掉註解填 key 就能切過去。這篇就是這個發現的完整 round-trip 記錄。

📌 目錄

🧠 Ollama Cloud 是什麼?跟本機 Ollama 差在哪

Ollama 你應該知道 — 那個 brew install ollama 之後 ollama run llama3 就能在本機跑大模型的工具。Ollama Cloud 是同一個 CLI、同一個 API,但模型在 Ollama 官方雲端跑,你 Mac 完全不用塞 GPU、不用煩記憶體、不用等模型載入。

關鍵差異就一句:-cloud 後綴。

ollama run gemma3:4b           # 本機跑,要下載 3.3 GB 權重
ollama run gemma4:31b-cloud    # 雲端跑,本機只記註冊,0 GB

底層機制:你打的 ollama run gemma4:31b-cloud,本機 ollama daemon 把請求轉到 https://ollama.com/v1(就是 Ollama 的 OpenAI 相容端點),帶上你 ollama signin 拿到的 token,雲端 GPU 跑完把 token stream 推回來。你本機 CPU 只負責顯示。

對應的對照表:

💰 Free 方案能跑什麼?額度怎麼算

Ollama Cloud 三層:

Gemma 家族在 Ollama 的內部分類大致是 Level 1~2,意思是「不太燒額度」。對我這種「平常聊聊、偶爾請 AI 整理文件」的用法,Free 完全夠;真的要拿來跑長任務(批次摘要、迴圈 agent)才需要 Pro。

雲端目錄目前提供的明星模型(這份名單會隨時更新,寫的當下我查 ollama.com/search?c=cloud 看到的):

• Gemma4 (26b / 31b) — Google 家最新一代,32B 參數、256K context、支援 thinking / tools / vision
• Qwen3.5 (0.8b ~ 122b) — 通義千問家族,多尺寸全備
• GLM-5.1 / GLM-4.7 — 智譜 GLM 系列,reasoning 強
• DeepSeek-V4 (Flash / Pro) — 深度求索,推理向首選
• Kimi K2.6 — multimodal agent
• Devstral-small-2 — 24B coding 專用
• Qwen3-Next — 80B 大尺寸

⚡ Gemma4 31b-cloud 實測:在我 Mac 上的真實 round-trip

直接看我終端機真實輸出。

$ ollama --version
ollama version is 0.20.7
$ ollama signin
# 跳 browser 完成登入(你 ollama.com 帳號)
$ ollama pull gemma4:31b-cloud
# 約 5 秒,只是註冊不下載權重
$ ollama list

ollama list 跑完應該看到雲端模型已經註冊(SIZE 欄是 - 代表權重不在本機):

ollama show 看完整 spec:

實際跑一句:

$ ollama run gemma4:31b-cloud "用一句話介紹你自己,中文回答"
Thinking...
*   Target: Introduce myself.
    *   Constraint: One sentence (一句話).
    *   Language: Chinese (中文回答).
    *   What am I? An AI model trained by Google.
    *   What do I do? Assist users with information, creative writing,
        coding, and conversation.
    *   Tone: Professional, helpful, versatile.

注意上面那段 Thinking... — 這是 Gemma4 內建的 chain-of-thought,模型會在輸出答案前先列 reasoning bullet。對你要不要在 prompt 寫 "think step by step" 這種引導語影響很大 — 它自己會做。

🔌 接到 hermes-agent:.env 早就預埋了一條

這是我寫這篇文的真正觸發點。我在 hermes 已經跑了一陣子,今天才注意到 ~/.hermes/.env 裡有這段:

# LLM PROVIDER (Ollama Cloud)
# Cloud-hosted open models via Ollama's OpenAI-compatible endpoint.
# Get your key at: https://ollama.com/settings
# OLLAMA_API_KEY=
# Optional base URL override (default: https://ollama.com/v1)
# OLLAMA_BASE_URL=

NousResearch 把 Ollama Cloud 當 first-class provider 預埋進 hermes,只是預設註解掉。意思是 hermes 內部已經寫好對 Ollama Cloud 的 OpenAI 相容轉接,你不用改一行 code、不用裝套件、不用 patch,就能切過去。

啟用步驟(只要 3 步)

# 1. 拿 API key
open https://ollama.com/settings    # 在 API Keys 頁拿到
# 2. 編輯 ~/.hermes/.env,把這兩行的 # 拿掉並填值
OLLAMA_API_KEY=ollama-xxxxxxxxxxxxxxxxxxxxx
OLLAMA_BASE_URL=https://ollama.com/v1
# 3. restart hermes + 換 model
hermes restart       # 或你慣用的 reload 方式
hermes model         # 互動選單裡選 gemma4:31b-cloud

驗證:跑一個 hermes session,看 model header 顯示 gemma4:31b-cloud、且回應跟你 ollama run 直接打的一致。

為什麼這條對 hermes 用戶特別有意義

hermes-agent 預設支援超過 20 個 provider(Anthropic / OpenAI / Groq / OpenRouter / Z.ai / Kimi / DashScope 等),但這些大多要付費。Ollama Cloud Free 提供:

• 開源 model(Gemma / Qwen / DeepSeek 你看得到權重的)
• 0 元起步額度
• 32B / 80B / 122B 不同尺寸隨選
• 256K context
• tool calling 完整支援(hermes 重度依賴)

hermes + Ollama Cloud 的雷區(踩過才知道)

/v1/chat/completions 這個 OpenAI 相容端點不支援動態設 context length。如果你的 hermes session 開超長 context(memory 治理那篇我寫過的場景),context 設定要在 Ollama 端 Modelfile 改,而不是 hermes 那邊調 max_tokens — 這是 hermes 官方文件列為「整合 Ollama 時最容易混淆的第 1 名問題」。Bob 你要跑長 context 任務記得這條。

🛠️ 接到 LangChain:兩種接法該選哪個

LangChain 接 Ollama Cloud 兩條路:

方法 A — 用 langchain-openai 的 ChatOpenAI(最省事)

from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
    base_url="https://ollama.com/v1",
    api_key="ollama-xxxxxxxxxxxxxxxxxxxxx",
    model="gemma4:31b-cloud",
    temperature=0.7,
)
response = llm.invoke("解釋 RAG 是什麼,3 句話")
print(response.content)

優點:你既有的 LangChain code 一個字都不用改,只換 base_url 跟 api_key。LCEL chain / agent / retriever 全部沿用。

缺點:Ollama 的一些獨特能力(像 thinking output 拆解、tools 的細部 schema)走 OpenAI 殼會被歸一化掉。

方法 B — 用 langchain-ollama 的 ChatOllama(原生支援)

from langchain_ollama import ChatOllama
import os
os.environ["OLLAMA_API_KEY"] = "ollama-xxxxxxxxxxxxxxxxxxxxx"
llm = ChatOllama(
    base_url="https://ollama.com",
    model="gemma4:31b-cloud",
    temperature=0.7,
)

優點:streaming chunk 比較細、tool calling 接得比較順、若 Ollama 之後加新能力(thinking 細節、vision 多 frame)會優先支援。

缺點:多裝一個套件 (pip install langchain-ollama)。

該選哪個

🔍 Embedding 想用 cloud?目前沒得用

很多人問:「我 RAG pipeline 想全部走 Ollama Cloud,免費吃 embedding。」目前不行。

我在 Mac 上實測:

$ curl -s http://localhost:11434/api/embed \
    -d '{"model":"gemma4:31b-cloud","input":"Hello world"}'
{"error": "unauthorized"}
$ curl -s http://localhost:11434/v1/embeddings \
    -H "Content-Type: application/json" \
    -d '{"model":"gemma4:31b-cloud","input":"Hello world"}'
{"error":"path \"/v1/embeddings\" not found"}

兩個都掛。gemma4:31b-cloud 本身不是 embedder(它是 chat model);Ollama Cloud 目錄(ollama.com/search?c=embedding&c=cloud)目前篩出 0 個 embedding cloud 模型。

解法是混合架構:

# Chat 走 cloud
from langchain_ollama import ChatOllama
chat_llm = ChatOllama(base_url="https://ollama.com", model="gemma4:31b-cloud")
# Embedding 走本機(都很小,Mac 隨便跑)
from langchain_ollama import OllamaEmbeddings
embed_llm = OllamaEmbeddings(
    base_url="http://localhost:11434",
    model="nomic-embed-text"     # 或 mxbai-embed-large、bge-m3
)

nomic-embed-text 才 274MB、bge-m3 大約 1.2GB、mxbai-embed-large 約 670MB,這幾個你 Mac 跑沒壓力。本機 embed 還有個額外好處:vector db 索引建立速度遠快於 cloud round-trip,RAG ingestion pipeline 走本機 embed 是黃金組合。

⚖️ 跟 Claude API / OpenAI 比怎麼選

我自己 hermes 默認跑 Claude(我有 Max 訂閱所以 claude -p 接近 0 邊際成本),但偶爾測新功能 / 跑 dev agent 流我會切 Ollama Cloud。三家對比:

• 生產關鍵任務 → Claude / OpenAI,latency 跟穩定度最重要
• 內部工具 / agent dev / 試新功能 → Ollama Cloud Free,試錯 0 成本
• 隱私敏感資料 → 本機 ollama(完全不出機器)
• 想用開源 model 又懶得自架 → Ollama Cloud,免運維

⚠️ 踩到的坑

1. /v1/embeddings 在本機 ollama 0.20.7 還沒實作

上面 embed 那節已經演示了 — OpenAI 相容路徑 /v1/embeddings 在我這版 ollama 回 path not found。要 embed 走 native /api/embed。

# ❌ 錯
curl localhost:11434/v1/embeddings -d '...'
# ✅ 對
curl localhost:11434/api/embed -d '{"model":"nomic-embed-text","input":"..."}'

如果你的 RAG framework 假設 OpenAI 相容(像某些 LiteLLM proxy 配置),embed 端要記得改路徑或換 framework。

2. gemma4:31b-cloud 跑 embed 會回 unauthorized 而不是 model not supported

這個錯誤訊息有點誤導 — 我一開始以為是 API key 沒設好,實際是 chat model 不能拿來 embed,Ollama 端錯誤分類有點怪。遇到 unauthorized 先確認模型 capability 而不是先去 reset key。

$ ollama show gemma4:31b-cloud | grep -A 5 Capabilities
Capabilities
  completion
  thinking
  tools
  vision
# 沒有 embedding → 不能拿來 embed

3. Thinking 模式會吃輸出 token,計費 / 額度算的時候別忘

Gemma4 31b 的 Thinking... 段不是裝飾,那段也算在 output token。如果你 prompt 簡單但希望快點拿到答案,加 system prompt 明確說 "answer directly without reasoning steps" 可以省 token / 額度。

4. Context 設定要在 Modelfile,不是 /v1 API 參數

OpenAI 相容端點 max_tokens 是 output 限制,input context length 要在 Ollama 端用 Modelfile 改 PARAMETER num_ctx。hermes / langchain 那邊調沒用,要在 ollama 端打:

ollama show gemma4:31b-cloud --modelfile > my-gemma4.modelfile
# 編輯加 PARAMETER num_ctx 131072
ollama create gemma4:31b-ctx128k -f my-gemma4.modelfile

cloud 版可以這樣自訂嗎我還沒實測,本機版確定可以。

5. ollama signin 要互動式 browser

沒有純 CLI 的 token-only signin 模式,第一次接環境要在 GUI 完成。CI / headless server 要先在 GUI 機器 signin 完,把 ~/.ollama/ 的 auth file copy 過去。

❓ 常見問題

Ollama Cloud 是什麼?跟本機 Ollama 有什麼不一樣?

Ollama Cloud 是 Ollama 官方的雲端推理服務,你用同一個 ollama CLI、同一個 API,但模型(像 gemma4:31b-cloud)在 Ollama 雲端跑、你本機完全不需要 GPU 或下載權重。本機版要自己備硬體、自己下載 model;cloud 版開帳號就用,還有 Free 額度。

用 Ollama Cloud 接 hermes-agent 要付錢嗎?

不用。hermes-agent 本身完全免費開源,Ollama Cloud Free 方案也是 0 元,只有 5 小時 session 額度跟每週上限。對個人 dev / agent 試驗綽綽有餘。要付費的是 Ollama Pro($20/月 50x 額度)或 Max($100/月),純粹看你跑的量。

LangChain 接 Ollama Cloud 該用 ChatOpenAI 還是 ChatOllama?

既有專案用 ChatOpenAI 就改 base_url 跟 api_key 兩個欄位最快;新專案、要 tool calling 或 streaming 建議用 langchain-ollama 的 ChatOllama,介面跟 Ollama 原生概念對齊,踩坑少。

為什麼 gemma4:31b-cloud 不能拿來做 embedding?

它是 chat / completion 模型,內部架構不是雙塔 encoder,不能輸出 embedding 向量。Ollama Cloud 目前也沒提供 -cloud 後綴的 embedding 專用模型。要做 embedding 走本機 nomic-embed-text 或 bge-m3,模型都小、Mac 隨便跑。

Ollama Cloud 適合做生產嗎?

看任務性質。latency 敏感 / 高並發 / SLA 要保證 → 還是 Claude / OpenAI;Internal tool / agent dev / 試新模型 / 試 RAG flow → Ollama Cloud Free 完全夠,還能用最新開源 model(Gemma4、DeepSeek V4)而不用自己架 GPU。

我已經有 Claude Max 訂閱還需要 Ollama Cloud 嗎?

主要看你「想不想試開源 model」。Claude Max 已經夠跑大部分任務,Ollama Cloud 的價值是:(1) 試 Gemma4 / Qwen / DeepSeek 等開源 model 不用自架,(2) hermes / langchain 多一個免費 fallback provider,(3) 隱私限制比較寬鬆的場景可以走 Ollama 而不是把資料丟 Anthropic。我自己兩個並用。

🔗 延伸資源

• Ollama Cloud 官方文件
• Ollama 雲端模型目錄
• Ollama OpenAI 相容 API 規格
• Ollama Pricing(Free / Pro / Max 方案對比)
• Hermes Agent × Ollama 官方整合頁
• langchain-ollama 套件
• 本站相關文章:Hermes Agent 是什麼?一篇給完全新手看的 AI 工具介紹
• 本站相關文章:Hermes Agent 的沙盒詳解
• 本站相關文章:Hermes Agent macOS 安裝完整教學

不怕死,只怕不過癮。