Topic Hub · SEO Landing

手機跑本地 LLM 完整指南:iPhone / Android 教學與實測

2026 年想用手機跑 LLM,主流選項是 PocketPal AI、LLMFarm、MLC Chat。本頁整理我在 iPhone 15 Plus / Android 旗艦機上的實測筆記,包含安裝步驟、模型選擇、效能 benchmark、5 個踩坑、什麼情境真的值得在手機跑。

#手機本地 LLM #iPhone 本地 LLM #PocketPal AI 教學 #PocketPal AI 安裝 #on-device AI #iPhone 15 Plus LLM

📌 主題介紹

手機真的能跑 LLM 嗎? 能,但「跑得動」跟「實用」是兩回事。2026 年 5 月的現況:iOS / Android 旗艦機種可以跑 1B-3B 量級模型,速度 5-15 tokens/秒。日常聊天比不上 ChatGPT API,但隱私需求、離線環境、開發者驗證 on-device 可行性這三種情境真的值得。

該選哪個 app? PocketPal AI 是 a-ghorbani/pocketpal-ai 開源 app,iOS / Android 雙平台、HuggingFace 直接抓模型、內建 benchmark,新手最佳入口。iOS 老玩家想搞 LoRA / 多模態走 LLMFarm,Android 旗艦機(Snapdragon)走 MLC Chat 吃 Hexagon NPU 加速。

iPhone 15 Plus 跟 15 Pro 差多少? 差別主要在 RAM 不在 CPU。15 Plus 用 A16 + 6GB RAM 是 1B-2B sweet spot;15 Pro 用 A17 Pro + 8GB RAM 拉高到 3B-4B,還解鎖 Apple Intelligence。LLM 推理瓶頸是記憶體頻寬,6GB 跟 8GB 差距比想像中大。

相關文章 · 3 篇

看全部 →
手機跑本地 LLM 怎麼裝?iPhone 15 Plus / Android 完整教學(PocketPal AI 安裝、模型選擇、踩坑)
2026/05/20 · AI 部署 · 22 min

手機跑本地 LLM 怎麼裝?iPhone 15 Plus / Android 完整教學(PocketPal AI 安裝、模型選擇、踩坑)

想用手機跑本地 LLM,但不知道要裝什麼 app、能跑多大的模型、能不能進開發工作流?本文拆解 2026 年 5 月最熱門的三個 on-device LLM app(PocketPal AI / LLMFarm / MLC Chat)怎麼選、iPhone 15 Plus 真實能跑哪些模型(1B-2B 是甜蜜點,3B 卡頓、4B+ 跑不動)、PocketPal AI 從 0 開始安裝、5 個踩坑(記憶體爆掉、發燙降頻、context window 太短、token/秒掉到不能用、Apple Intelligence 跟本地 LLM 的關係),最後解釋為什麼「手機算力幫電腦」是死路、什麼情境真的值得在手機跑 LLM。

PocketPal AI 本地 LLM iPhone
Hermes Agent 在 macOS 接內網 LLM 完整實戰:proxy 補 OpenAI API 4 大漏洞 + launchd 自啟動
2026/05/15 · AI Agent · 32 min

Hermes Agent 在 macOS 接內網 LLM 完整實戰:proxy 補 OpenAI API 4 大漏洞 + launchd 自啟動

想在 Mac 上裝 Hermes Agent 接自家內網 LLM,跑完 hermes -z 卻 exit 0 stdout 全空白?本文記錄從 0 安裝 Hermes、發現 OpenAI-compatible wrapper 缺 4 件事(/v1/models、usage、SSE streaming、system_fingerprint)導致 silent fail,寫 FastAPI proxy 補洞 + launchd 開機自啟動的完整實戰。

Hermes Agent Hermes Agent 安裝 macOS
Claude Code 接本地模型還能上網嗎?2026 完整接線圖(Ollama / claude-code-router / Web Search)
2026/05/07 · Claude Code · 27 min

Claude Code 接本地模型還能上網嗎?2026 完整接線圖(Ollama / claude-code-router / Web Search)

Claude Code 把 backend 從 Anthropic 換成本地 Ollama,三條 env var 搞定。但內建 WebSearch 工具是伺服器端服務,改接本地後直接失效。本文把兩條官方路徑、四種 backend、Web Search 三解法、6 個踩坑、模型選型一次寫完,文章 URL 餵給 Claude Code 它能照著裝。

Claude Code Ollama 本地 LLM

❓ 常見問題

iPhone 跑 LLM 速度怎麼樣?
iPhone 15 Plus(A16 + 6GB RAM)跑 Qwen2.5 1.5B 約 12-15 tokens/秒、Gemma 2 2B 約 6-8 tokens/秒、Llama 3.2 3B 已經掉到 3-5 tokens/秒不能用。iPhone 15 Pro(A17 Pro + 8GB)可以多跑一個 size 級距。Pixel 9 Pro / S24 Ultra 走 MLC Chat 吃 Hexagon NPU,3B 也能流暢。
手機本地 LLM 跟 ChatGPT 比,差在哪?
速度 ChatGPT API 完勝(手機 5-15 tok/s vs API 100+ tok/s),品質也是。手機本地 LLM 的優勢只有三個:絕對隱私、離線可用、零持續成本。日常用 ChatGPT / Claude API 划算 10 倍。手機本地 LLM 是「特殊情境工具」,不是「替代雲端 AI」。
on-device AI 開發者該裝哪個 app 測試?
想驗證 GGUF 格式相容性 → PocketPal AI(直接抓 HuggingFace)。想測 NPU 加速效果 → Android + MLC Chat。想自己刻 iOS app 用 llama.cpp → LLMFarm 是最接近的開源參考實作。三個都裝、跑同一個 model 比 benchmark。
Apple Intelligence 算本地 LLM 嗎?
算,而且是「最被廣泛使用的本地 LLM」。Apple Intelligence 在系統內塞了約 3B 參數的 foundation model,限 iPhone 15 Pro / M1+ Mac 支援。多數人在用 on-device AI 卻不自覺,因為它包裝在「摘要通知、改寫訊息、Siri 升級」這類功能裡。如果你的 iPhone 不支援 Apple Intelligence(iPhone 15 Plus 以下),PocketPal 是唯一選擇。
手機跑 LLM 會把電池搞壞嗎?
短期不會、長期有風險。連續跑 10 分鐘手機溫度可飆到 45-50°C 觸發降頻保護,鋰電池長期高溫運作確實會加速老化。日常使用:別連續超過 20 分鐘、別邊充電邊跑、夏天注意溫度。偶爾跑 30 分鐘做測試沒問題。

其他主題

LLM Wiki 完整指南
Karpathy 2026 年 4 月在 gist 丟出 200 行 markdown 引發社群實作潮。LLM Wiki 是什麼、跟 RAG 差在哪、怎麼建第一個 wiki、token 真的能降 87% 嗎?本頁集合所有相關文章、踩坑、社群實作版本對照。
MemPalace 完整指南
MemPalace 是 AI agent 用的長期記憶系統,用 chromadb + sqlite 存知識、用 LLM 自動壓縮。本頁集合安裝、3.3.5 救援、HNSW quarantine 機制、claude -p HTTP proxy 省 API 錢的完整教學。
Claude Code 完整指南
Claude Code 是 Anthropic 推出的 CLI agent。本頁集合安裝教學、Plugin 開發、Skills 寫法、Hooks 設定、/loop /schedule /powerup 等指令的完整實戰教學。新手到進階使用者一站搞定。
Hermes Agent 完整指南
Hermes Agent 是 NousResearch 維護的開源 CLI agent,2026 上半年 OpenRouter App 排行榜第 2。本頁集合安裝教學、Sandbox 7 種後端選擇、Mac 接內網 LLM 實戰、跟 ChatGPT / Claude Code 比較。
AI 影片生成完整指南
想用 AI 生影片但不知道從哪開始?本頁集合 Wan 2.2 影片模型、fal.ai 雲端 LoRA 訓練、RTX 4070 本地 ComfyUI 跑 I2V、musubi-tuner Windows 訓 LoRA 的完整實戰。從雲端到本地、從圖到影片。
Claude Code Skills 完整指南
Claude Code Skill 是什麼?該自己寫還是裝 Superpowers?本頁集合自寫 Skill 範本(SEO 計分、Brand Voice、Live Search Injection、blog-create)、Superpowers vs handcrafted 對照、Anthropic 官方 pptx / frontend-design plugin 教學。