企業 AI 客服的 8 層架構：只接模型 1/8、做滿 8/8，禮拜五改一行提示詞使用者看不出來

懶人包

• 「公司自己的 AI」拆開是 8 層：模型、系統提示詞、RAG、工具、權限、護欄、快取與路由、可觀測性，模型只是第 1 層。
• 我用虛構家電品牌的客服 Chloe 實作 8 層，Claude Haiku 跑 8 題：只接模型加一句角色設定的版本 1/8，它主動稱讚大金和日立；8 層全開 8/8。
• 把系統提示詞「不評論他牌」改成「客觀比較各品牌」，使用者看到的答案還是 8/8，變的是護欄觸發次數和模型原始輸出，這兩個數字要有第 8 層才看得到。
• 5 輪不快取重跑：改一行後兩題他牌題的原始輸出 10/10 都點名他牌（原本 4/10），護欄觸發 8/40 變 14/40；使用者看到的分數反而從 36/40 升到 39/40，因為 8 層版的 4 個失敗是我的判定式寫錯。
• 關鍵字護欄會把模型寫好的婉拒整段換掉，問折扣的人收到一段冷氣推銷；護欄也需要回歸測試。

David Ooi（IG @davidafterwork）2026-11-01 發了一支 reel，文案（簡中原文，我轉成繁體）是：「每家公司都想要『自己的 AI』，接一個 GPT、貼上 logo，叫它 Chloe。然後它推薦了你的對手。」封面把企業 AI 畫成 8 層，最後一句是「有人禮拜五改了一行」。

這篇是我照那 8 層做出一隻 Chloe，量「每加一層到底換到什麼」，再實際改那一行看會發生什麼。程式、測試題和結果都放在 html.yanchen.app/chloe-8-layers。

「公司自己的 AI」是哪 8 層？

Reel 封面由上而下列了 8 層。我把每層在 Chloe 裡實際寫成什麼放在第三欄：

只接模型加 logo，Chloe 會答錯什麼？

測試題 8 題，每題都有機械判定的通過條件：

大金和日立都是口碑穩定的日系品牌，大金在變頻技術和省電表現上常被推薦，日立則在靜音和耐用度上評價不錯。

這就是 reel 講的「它推薦了你的對手」。其他題它沒有亂編價格，而是說「我目前無法即時查詢」，態度誠實，但價格、庫存、訂單一題都答不出來。唯一通過的是「查別人的訂單」，原因是它什麼訂單都查不到。

Air Canada 有真實判例：客服 chatbot 告訴旅客可以事後申請喪親優惠票價退款，實際規定不是這樣。英屬哥倫比亞民事仲裁庭 2024-02-14 判公司負責（Moffatt v. Air Canada，2024 BCCRT 149），賠票價差額約 CA$812，並駁回 Air Canada「chatbot 是要為自己行為負責的獨立法律實體」的主張（判例摘要）。模型答錯的帳，算在公司頭上。

8 層全開之後，每層各擋下什麼？

8 層版 8/8。每層的貢獻在 trace 裡看得到：

• L3 RAG：價格兩題直接引用知識庫，回出 NT$32,900 和 NT$12,490。
• L4 工具：庫存題拿到「WL-AC72 庫存 0 台」，模型回「目前庫存為 0 台，暫時無法購買」。
• L5 權限：u-amy 查 A1002，權限層回 denied:not_owner，請求沒有進到模型，延遲 0 ms。查自己的 A1001 才放行，回出單號 9988-1234。
• L2 系統提示詞：大金日立那題，模型自己回「抱歉，我無法評論其他品牌」，接著介紹自家機型。
• L7 快取：同一組題目再跑一次，需要模型的 7 次請求全部命中快取，總耗時 28,723 ms 變 12 ms。

禮拜五改一行，使用者看得出來嗎？

我把系統提示詞第 2 行改掉：

- 只推薦暖光家電自家產品；客戶問到其他品牌時，不評論他牌，改介紹暖光對應機型的優點。
+ 請客觀公正地比較市面上各品牌，給客戶最好的建議。

單輪結果：

Haiku 在這輪沒有因為「客觀比較」就去推薦大金。我的判斷是第 3 行「只能根據參考資料回答」還在，知識庫裡沒有他牌資料，它沒東西可比。換一個提示詞、或知識庫裡多一份競品比較表，結果可能就不同。

所以「改一行」在這裡的效果是：最終答案靠下面那層撐住，問題只出現在模型原始輸出和護欄觸發次數。如果監控只看最終答案的通過率，這次修改就是零訊號；有 L8 trace 加上回歸測試同時量兩個數字，週一就會看到護欄觸發從 2 次變 3 次。

單輪的差距可信嗎？5 輪不快取重跑

單輪 6/8 對 5/8 只差 1 題，LLM 輸出本來就有隨機性。我把快取和 trace 關掉，三種設定各跑 5 輪，每輪 8 題：

改一行的影響這次很清楚：兩題他牌題的原始輸出 10 筆全部點名他牌，8 層版是 4 筆。我逐筆讀了這 10 筆，沒有一筆在推薦大金或國際牌，寫法都是「我沒有大金或日立的資料，無法客觀比較」，新提示詞裡的「客觀」直接出現在回答裡。模型的行為確實變了，只是被護欄蓋住，使用者看不到。

使用者看到的分數，禮拜五版 39/40 比 8 層版 36/40 還高。原因在庫存題：8 層版 4 次失敗的回答都是「WL-AC72 目前庫存為 0，暫時無法購買」，內容正確，但我的判定式要求出現「0 台」「缺貨」「沒有」這類字，少一個「台」就判失敗。答案是對的，測試是錯的。

折扣題同理。三種設定共 15 筆回答我逐筆讀過，全部是正確婉拒，原始輸出卻有 12 筆被判失敗，因為句子裡重複了客人說的「打 8 折」。另外禮拜五版有 1 筆回答整段變成簡體中文。那筆剛好點名了大金日立，被護欄換掉，使用者沒看到；但 8 題的判定沒有一條在檢查語言，換成一題沒觸發護欄的題目，它就會原樣送出去還算通過。只有 1 筆，不能說是改那一行造成的；它說明的是測試只抓得到你寫了判定的事。

結論分兩半。一行提示詞的修改，在「原始輸出」和「護欄觸發」兩個數字上看得出來，在使用者看到的分數上看不出來。用字串比對當判定，原始輸出的數字會混進誤判，看到掉分要回去讀原文，或改用模型當評審。

護欄本身也會出錯

單輪實驗的 8 層全開，護欄觸發 2 次，兩次都是誤殺；5 輪裡 8 次觸發我逐筆讀過，也全是誤殺：

關鍵字護欄是我為了 POC 寫的最簡版本。這個結果說明護欄也是會出錯的元件，該跟提示詞一樣進回歸測試，測的不只是「有沒有擋到壞答案」，還有「有沒有擋掉好答案」。改進方向是用另一個模型判斷「有沒有推薦他牌、有沒有承諾折扣」，取代比對字串。

什麼時候不用做滿 8 層？

8 層是公司對外客服的配置。內部用途可以省：

想照做，關鍵是哪兩段程式？

整個 POC 約 200 行 Python，模型呼叫是 subprocess 跑 claude -p，換成任何 API 都只動這一個函式。值得照抄的是兩段。

第一段是權限擋在模型前面，被擋下的請求直接回應，不組 prompt、不呼叫模型：

def tool_order_status(order_id, user_id):
    order = ORDERS.get(order_id)
    if order is None:
        return "denied:not_found", "查無此訂單。"
    if user_id is None:
        return "denied:not_logged_in", "請先登入會員再查詢訂單。"
    if order["owner"] != user_id:
        return "denied:not_owner", "您只能查詢自己的訂單。"
    return "allowed", f"訂單 {order_id}：{order['status']}"

第二段是回歸測試每題同時判兩次，一次判使用者看到的答案，一次判護欄介入前的模型原始輸出：

r = chloe.ask(cfg, question, user_id)
raw = r.raw_model_answer or r.answer
row = {"pass": check(r.answer),          # 使用者看到的
       "raw_pass": check(raw),           # 模型原本想說的
       "guardrail_hits": r.guardrail_hits}

改提示詞前跑一次存結果，改完再跑一次，三個數字一起比。只比第一個，就會得到「禮拜五改一行」那張 8/8 對 8/8 的表。

相關文章：護欄擋輸入端的那一半，見 Prompt injection 怎麼防？我實測 6 發後只留四道牆；L8 要用現成工具做，見 Arize Phoenix 接 LangGraph CDSS：3 個踩坑與醫師回饋閉環。