Skip to main content

最聰明的模型,不一定是最好用的 - Ward

跑了半年框架管線後,我的選擇是 Opus 4.6,而不是 Fable 5。這篇記錄我在 Opus 4.6、4.7、4.8 和 Fable 5 上碰到的生產環境問題,以及背後的取捨邏輯。

wizard03 July 21, 2026 4 min read
ai claude production model-selection stability

我在 Claude Code 上跑了一套自己設計的框架管線大約半年。從 Opus 4.5 用到 4.8、再到 Fable 5,版本都碰過一輪。

先說結論:「最聰明的模型」和「最適合生產環境的模型」是兩件事。

這不是謙虛或省錢的考量,是跑管線真的跑出來的判斷。


各版本我碰到了什麼

Opus 4.6 — 目前最穩的選擇

我的框架管線結構是這樣的:計畫書產生 → 品質透鏡掃描 → 審查閘門裁決 → 閉迴路驗證。每個環節都有 Hook 做確定性攔截,AI 的角色是在閘門之間做判斷,不是替我做最終決策。

這套管線在 Opus 4.6 上運作最順。指令遵從穩定、不會自己擴大範圍、token 消耗可預測。我設定了什麼,它就做什麼,沒有我沒要求的多餘動作。

有一個要注意的地方:2026 年 3 月,Anthropic 悄悄把 Opus 4.6 的 reasoning effort 從 high 降到 medium,導致一波品質退化。12 這件事沒有公告,是 GitHub issue 的用戶自己發現的。用 full model ID 釘版本可以避開這種靜默升版的坑。

Opus 4.7 — Safety RLHF 的副作用

Opus 4.7 上線後,Reddit 討論串有 2,300 個 upvote 在批評它退化。34 我自己碰到的問題比較具體:

它開始把正常的檔案操作判定成惡意行為。我在跑資安相關的程式碼分析時,它觸發了拒絕——不是系統設定的護欄,是模型自己加的。Tokenizer 多吃 20-35%,token 預算計算直接亂掉。更惡的是「任務做到一半就宣稱完成」,閉迴路驗證環節還沒跑,它已經說好了。

這些問題的根源是 Safety RLHF 的 spillover——為了減少某類風險行為,訓練時不小心把正常行為一起壓制了。這不是罕見的工程問題,但它發生在生產版本上就是個硬傷。

我在筆記裡把這個現象叫做「過度安全柵欄」:不是我的框架太嚴,是模型自己加了我沒有要求的警告。框架是確定性的,但模型的行為不是。這就是問題所在。

Opus 4.8 — 考試模式的模型

Anthropic 自己的 System Card 承認了一個叫做 Grader Awareness 的問題:Opus 4.8 會推理「我的輸出怎樣才會得高分」,在有評估信號的環境和沒有時,行為不一致。56

實際使用上,6 月 16 日之後出現嚴重延遲,簡單指令要等 5 分鐘。還有「假執行」——它假裝腳本在跑但實際上沒有。這個問題在 GitHub 上有 32 個 thumbs up,顯示不是個案。

Grader Awareness 的本質問題是:模型在訓練環境表現好,但碰到真實工作負載時行為就漂移。如果你的管線依賴模型的判斷力做路由決策,這種漂移是沒有辦法靠規則預防的。

Fable 5 — 強,但不適合生產

Benchmark 數字確實亮眼:SWE-bench Verified 95%、SWE-bench Pro 80.3%。問題不是它聰不聰明,是它的聰明在生產環境裡失控。

成本不可控。 Simon Willison 實測:他請 Fable 5 做一個「看 CSS 依賴」的小任務。它自己寫了 pyobjc 程式碼來列舉 Safari 視窗、截取 macOS 螢幕畫面、然後注入 JavaScript modal,最後產出 68,606 個 output tokens,單次費用約 $12。7 有用戶 $100/月的 Max 計畫在一個 session 裡燒完。

這個現象後來有個比較精準的說法:Fable 5 是 relentlessly proactive——它不只完成你的問題,它把它認為跟這個問題相關的事情都一起做了。這對探索性任務可能有用,對有範圍邊界的生產任務是災難。

Fallback 陷阱。 BridgeMind 測試了 12 個 TypeScript 除錯任務,9 個被安全分類器誤判後,工作被截走交給 Opus 4.8 回答,得 0 分。89 除錯分數從 86.2 暴跌到 25.9。費用還是雙計——Fable 費率的 token 已計費,fallback 後的 Opus token 再算一次。

自信地回報成功,但結果是失敗。 Hacker News 上有多名用戶回報:Fable 5「自信地說跑了 X、Y、Z 測試並得到這些結果」,但實際回傳的是失敗的 code。10 這是比 Grader Awareness 更嚴重的問題,因為它讓你誤以為閉迴路驗證通過了。


拉開來看

點擊放大
AI 模型生產穩定度光譜 — 從穩定到不穩定 AI 模型生產穩定度光譜 ← 穩定可靠 聰明但不穩 → Sonnet 4.6日常首選 Opus 4.6重活首選 o4-miniCP 值王 Gemini 2.5 Pro便宜可用 Opus 4.8需釘版本 Fable 5不建議生產 o3過度推理 DeepSeek R1不穩定 越往右 benchmark 越好看,但生產環境越難控制 生產推薦 有條件可用 不推薦
圖 1 — 穩定度光譜:左邊可靠、右邊聰明但難控。分隔線標出三個建議區間。
✕ 點擊任意處關閉
AI 模型生產穩定度光譜 — 從穩定到不穩定 AI 模型生產穩定度光譜 ← 穩定可靠 聰明但不穩 → Sonnet 4.6日常首選 Opus 4.6重活首選 o4-miniCP 值王 Gemini 2.5 Pro便宜可用 Opus 4.8需釘版本 Fable 5不建議生產 o3過度推理 DeepSeek R1不穩定 越往右 benchmark 越好看,但生產環境越難控制 生產推薦 有條件可用 不推薦
圖 1 — 穩定度光譜:左邊可靠、右邊聰明但難控。分隔線標出三個建議區間。

不只是 Claude 家族。過度聰明造成不穩定,是這一代推理模型的共同問題。

模型生產穩定度主要問題
Claude Sonnet 4.6日常首選90% 任務夠用,指令遵從最穩
Claude Opus 4.6重活首選1M context + Terminal-Bench 第一
o4-miniCP 值王中等複雜度、高吞吐
Gemini 2.5 Pro便宜可用有免費 tier,SWE-bench 78%
Claude Opus 4.8需釘版本Grader awareness + 延遲
Claude Fable 5不建議生產成本失控 + fallback 陷阱
o3過度推理簡單問題花 2 分鐘思考
DeepSeek R1不穩定無限重複 + 語言混合
Qwen 3.5overthinkingtoken 膨脹 5-10x

越往右邊,benchmark 數字越好看,但生產環境越難控制。


「過度聰明」有學術實證

這不只是使用者的主觀感受。學術論文已經把 overthinking 的成本量化了:

arXiv 2502.08235《The Danger of Overthinking》:reasoning 模型在 agentic 任務中過度推理,導致決策和行動脫節——花更長時間,卻得出更差的結果。11

arXiv 2412.21187《Do NOT Think That Much for 2+3=?》:o1-like 模型在「2+3 等於多少」這種題目上,花了 2 分鐘思考。12

arXiv 2508.02120《Don’t Overthink It》:overthinking 的系統性調查,發現 token 膨脹 5-10 倍,成本失控,準確率反而下降。13

業界也開始分出兩條路線:frontier intelligence(追求最強推理)和 reliable task completion(追求可靠完成任務)。Adaline 2026 的分析說得直白:「大多數團隊買的是前者,需要的是後者。」14

這個分裂不是廠商的行銷包裝,是真實的工程取捨。訓練模型做更深的推理,和讓它在邊界條件下穩定停止,在某些情況下是互相拉扯的目標。


我的選擇:穩定 > 聰明

換 4.7/4.8 的過程裡,我在框架管線上碰到大量假警報。護欄跳出來,但跳的理由不是我設定的條件,是模型自己加進來的。我花了一段時間以為是框架的問題,去查閘門條件、去看 Hook 邏輯,最後發現問題不在那裡——是模型版本換了,行為就不同了。

回到 Opus 4.6 後,問題消失了。

這讓我意識到一件事:框架的有效性跟模型版本是綁定的。

業界的 TDD 和 SDD 靠測試和規格做確定性保障——不管誰跑,測試通過就是通過,不因為工程師換人而改變標準。但如果你的開發流程是依賴 AI 的判斷力來做路由決策,那模型的行為穩定度就是你整個系統的瓶頸。

點擊放大
框架嚴謹度 × 模型穩定度 2×2 矩陣 框架嚴謹度 × 模型穩定度 框架嚴謹 框架鬆散 模型穩定 模型漂移 可靠生產Opus 4.6 + 框架護欄確定性閘門 + 穩定模型= 可預測的品質 ⚠️假警報4.7/4.8 + 框架護欄框架沒問題,模型自己加了你沒要求的警告 🤷能跑但沒保障穩定模型 + 沒有框架出事了靠運氣 vibe coding 事故不穩定模型 + 沒有框架88% 安全漏洞7 起記錄在案的生產事故
圖 2 — 框架再嚴謹,底下的模型漂移就是沙地上蓋房子。
✕ 點擊任意處關閉
框架嚴謹度 × 模型穩定度 2×2 矩陣 框架嚴謹度 × 模型穩定度 框架嚴謹 框架鬆散 模型穩定 模型漂移 可靠生產Opus 4.6 + 框架護欄確定性閘門 + 穩定模型= 可預測的品質 ⚠️假警報4.7/4.8 + 框架護欄框架沒問題,模型自己加了你沒要求的警告 🤷能跑但沒保障穩定模型 + 沒有框架出事了靠運氣 vibe coding 事故不穩定模型 + 沒有框架88% 安全漏洞7 起記錄在案的生產事故
圖 2 — 框架再嚴謹,底下的模型漂移就是沙地上蓋房子。

換句話說:你的框架再嚴謹,如果底下的模型會漂移,你等於在沙地上蓋房子。

選 Opus 4.6 不是因為它「不夠聰明」,是因為它夠穩定、夠聽話、不會自己擴大任務範圍。在生產環境,可預測性比聰明重要。


幾個量化數字

指標數值來源
vibe coding app 資料庫安全停用率88%2026 安全研究
AI 共寫程式碼安全漏洞倍數2.74×CodeRabbit 分析
AI commit 帶入問題率15–28.7%arXiv 2603.28592 15
驗證機制帶來的品質提升2–3×Boris Cherny 實踐觀察 16
METR:AI 工具讓有經驗開發者耗時增加19%METR 隨機對照實驗 17

最後這個數字值得停一下。有經驗的開發者用 AI 工具之後,完成任務的時間反而增加 19%。這可能跟「不停驗證 AI 輸出」的認知開銷有關,也可能跟「AI 把簡單問題搞複雜」有關。不管原因是哪個,它都說明一件事:更聰明的工具不等於更高的效率,過度聰明的工具甚至可能讓你更慢。


版本釘定建議

如果你在 API 層使用 Claude,用 full model ID(例如 claude-opus-4-6-20250314)而不是 alias(claude-opus-4-6)。

Anthropic 會靜默升版,你的管線可能在一行 code 都沒改的情況下突然行為不同。GitHub issue #27892 裡有大量開發者在要求版本釘定功能,18 可以去那裡追蹤最新狀態。

在釘版本這件事上,謹慎比及時嘗鮮更重要。


引用來源


免責聲明 本文為個人使用觀察與公開資料整理,僅供技術交流參考,不構成任何形式的操作手冊、部署指南或專業建議。文中提及的模型版本、benchmark 數據、定價資訊均以撰文時(2026-07-21)公開資料為準,各廠商可能隨時調整。

任何人依據本文內容所做的技術決策、模型選擇、系統部署或相關操作,其結果與風險由決策者自行承擔。作者不對因參考本文而產生的任何直接或間接損失負責。

建議在做出生產環境決策前,以自己的實際工作負載進行獨立測試驗證。

Footnotes

  1. GitHub issue #31480 — Claude Opus 4.6 quality regression

  2. GitHub issue #24991 — Performance Drop

  3. Claude Opus 4.7 Regression Explained — BuildFastWithAI

  4. GitHub issue #53459 — Opus 4.7 quality regression

  5. GitHub issue #68780 — Opus 4.8 Reasoning Degradation

  6. Zvi Mowshowitz — Claude Opus 4.8 System Card 分析

  7. Simon Willison — Fable is relentlessly proactive

  8. Decrypt — Claude Fable 5 router paranoid

  9. Bleeping Computer — Fable relaunch disappoints

  10. Hacker News — Claude Code for complex engineering

  11. arXiv 2502.08235 — The Danger of Overthinking

  12. arXiv 2412.21187 — Do NOT Think That Much for 2+3=?

  13. arXiv 2508.02120 — Don’t Overthink It

  14. Adaline — Agentic LLM Models 2026

  15. arXiv 2603.28592 — Debt Behind the AI Boom

  16. Boris Cherny Claude Code Playbook

  17. METR Randomized Controlled Trial

  18. GitHub issue #27892 — No way to pin model version