決策模型的現實檢查：為何「網上神乎其神」，我們實測只有 54%？——JEV / LAYA / KEV / CLM-8B 全對比與落地公式

一句話版本

這一類模型的價值在「速度 × 成本 × 可門控」，不在「更聰明」。 官方宣傳的 9 倍延遲優勢與近乎零的邊際成本是真的；但「判斷更準」是被誇大的部分。我們自己跑完一批 hold-out 後得到的結論很簡單：脫離「標註資料 ＋ 門控閾值 ＋ 人工兜底」，它只是一隻 54% 的原始分類器；套上這套公式，它可以吃掉系統裡 50–70% 的機械判斷，成本近乎為零。

1. 先用六個例子看懂它到底在幹什麼

在談架構之前，先看它實際被用來解決什麼問題。以下六個場景，全部是這類模型的典型用法——注意它們的共同點：選項固定、答案很短、量大。

例 1｜客服工單該轉給哪個團隊？

輸入（一段客戶訊息）：

「鞋子遲了兩週才到，而且尺碼發錯了；另外我發現信用卡被扣了兩次。」

問題： 這張單該交給哪個團隊？候選項：退換貨 / 物流 / 帳務

模型輸出： 退換貨 0.47 ｜ 物流 0.28 ｜ 帳務 0.25

系統決策： 最高機率只有 0.47，低於門檻 → 不自動分派，轉人工複核

👉 這個例子最重要的地方不是「它答對了沒有」，而是它自己說沒把握。三個議題混在一段話裡（遲到、錯碼、重複收費），它沒有硬選一個就交差。

例 2｜一天三百封郵件，該歸到哪個項目？

問題： 這封郵件屬於哪個項目？候選項：盡職調查 / 物業投標 / 財務對帳 / 其他

模型輸出： 物業投標 0.91

系統決策： 高於門檻 → 自動歸檔並通知負責人

👉 過去這個判斷要送進大語言模型，每封信等半秒到兩秒、每次都要付費；現在每封 20 毫秒、邊際成本為零。

例 3｜這兩段筆記，是不是在講同一件事？

問題： 筆記 A 與筆記 B 是否重複？（是／否）

模型輸出： 是 0.88 → 列入自動合併候選 模型輸出： 是 0.55 → 標記待人工確認，不自動合併

👉 去重是典型的「錯一次不會死、但錯很多次很煩」的任務，正好適合這種模型。

例 4｜這份文件能不能直接發出去？

問題： 這段文字是否包含客戶個人資料（身份證號、護照號、銀行帳號）？

模型輸出： 是 0.97 → 攔下，要求遮蓋後重發

👉 護欄場景有一個關鍵差異：寧可誤報，不可漏報。 所以它的門檻要反過來調低（例如 0.3 就攔），跟例 2 的邏輯完全相反。

例 5｜這個事故有多嚴重？

輸入：

「生產資料庫完全掛掉，所有 API 端點都回 500，沒有任何使用者能登入。」

問題： 按 trivial → low → medium → high → critical 評級

模型輸出： critical 0.69 → 觸發值班升級流程

👉 注意這是「評分」型問題，也是這類模型目前最弱的一環（後文第 5 節有實測數據），所以實務上應只用它做相對排序，不要當成絕對分數。

例 6｜四份候選方案，挑一份最好的

流程： 先讓生成模型寫出 4 份方案 → 再用決策模型從中挑出最好的一份

👉 這是「不生成、只挑選」的用法，適合已經有高品質生成器的團隊。它不寫程式、不寫文章，只負責回答「這幾個裡面哪個最好」。

六個例子的共同結構

看出來了嗎？ 這類模型從來不是「給你一個答案」，而是給你一個帶信心的答案——系統再根據信心決定「自動執行、再驗證、還是轉人工」。這才是它真正的產品形態。

2. 為什麼兩週內冒出一個新品類

概念來自卡尼曼《思考，快與慢》的「系統一」：直覺、快速、不假思索。實作上，它指的是不做逐 token 生成、一次前向傳播直接輸出結構化判斷的模型。

所有這類模型共用三個原語（primitives）：

時間線相當緊湊：

它們解決的痛點是真實的：今天自動化系統裡真正高頻的，不是「寫一篇報告」，而是上面那六類微小的判斷。 這些判斷選項固定、答案短、量大，卻全部被包成提示詞丟給大語言模型，於是慢、貴、且不可審計。

3. 四家速覽

一個被低估的工程遺產：四家 API 契約同構。換一個 URL 就換模型，業務程式碼不需改動——這讓「先用便宜的、不夠再換貴的」變成一件改一行設定的事。

4. 宣傳與實測之間，隔著六個口徑差異

網上看到的神奇數字，和我們自己量到的 54%，其實不矛盾。差別主要來自六個「口徑」問題：

換個生活化的說法：宣傳講的是「我只答有把握的題，答對率九成」；你自己測的是「全部題目都要作答，答對率五成四」。 兩個數字都是真的，只是講的不是同一件事。搞清這一點，就不會覺得自己被騙了，也比較知道該怎麼用它。

5. 我們自己的實測：方法與結果

5.1 方法

5.2 結果

5.3 六個發現

1. choice 型明顯強於其他：KEV 88%、LAYA 80%。對照第 1 節的例子——郵件歸檔、工單分派這種題型，就是它最成熟的用途。
2. 校準是 KEV 最大的可驗證優勢：Brier 0.172 對 LAYA 的 0.400；ECE 0.087 對 0.389；過度自信答錯率 2.0% 對 30.0%。這與官方「每個 checkpoint 自帶擬合溫度」的說法一致。
3. 中文任務上多語 checkpoint 勝過英文 checkpoint（67.5% vs 63.7%），支持按語言路由。
4. 棄權能力完全相反：模糊題正確棄權率 LAYA 50%，KEV-0.8B 僅 10%。前者傾向說「不確定」，後者傾向硬答——如果要做例 4 那種護欄，這個差異比準確率更重要。
5. score 型兩家都弱。用 argmax 比較時 KEV 看似領先（52% vs 28%），但改用連續值衡量，差距幾乎消失（MAE 0.83 vs 0.90，四捨五入準確率同為 30%）。這對應例 5：事故評級可以參考，但不該當成絕對分數直接執行。
6. 延遲全部在 15–21ms，本機部署完全成立，無需任何雲端 GPU。

5.4 最反直覺的一張表：加上門控之後

怎麼讀這張表： 以 KEV-0.8B 通用題為例，門檻設 0.9 時，只有 32% 的題目會被自動執行，但這 32% 裡有 91.7% 是對的；剩下的 68% 全部轉人工或走後備流程。這就是例 1 的運作方式——寧可少做，不要做錯。

6. 為什麼準確率低於預期：四個成因

我們做了兩個診斷實驗來定位問題。

6.1 診斷一：用官方範例題複測

拿官方文件裡的原始範例（就是第 1 節的例 1：鞋子遲到兩週、尺碼錯誤、信用卡被重複收費），在本地重跑：

結論：接口與流程是對的（結構、原語、機率分佈全部正常）；差異來自模型規模——0.8B 在「多議題」題目上判錯了主議題。值得注意的是，它自己只給了 0.45 的信心。也就是說，只要加上門控，這一題會落到例 1 的「轉人工」分支，系統層面依然安全。

6.2 診斷二：把絕對分數換成連續值

第 5.3 節第 5 點已說明：score 型的「52%」有相當部分是 argmax 對機率集中的偏好。改用連續指標後，兩家幾乎持平。

6.3 四個成因，按權重排序

7. 真實世界的四種用法與落地清單

四種用法的共同前提：① 同一判斷每日重複數百次以上 ② 選項可枚舉 ③ 有（或能累積）標註資料 ④ 可棄權轉人工。

門檻不是拍腦袋定的

門檻要從你自己的資料算出來，流程只有三步：

1. 收集 200–400 題已標好答案的真實題目；
2. 讓模型全部跑一遍，記錄每一題的「最大機率」與「是否答對」；
3. 畫出「覆蓋率 vs 準確率」曲線（就是第 5.4 節那張表的來源），挑一條你能接受的取捨點。

驗收標準也只有一句話： 例如你設定「自動化部分準確率不得低於 95%」，那就選出對應門檻；如果該門檻下覆蓋率只有一成，那這個場景就還不值得引進。

8. 價值公式：不是更聰明，是更划算

用第 1 節的例 2 算一筆實帳——假設一天有 2,000 封郵件要分類：

再加上門控：約一半的郵件可以自動歸檔（準確率 85% 左右），另一半走原本流程。 這就是全部的價值所在——不是判斷得比人好，而是夠用的判斷便宜了一百倍、快了二十倍。

9. 順帶一談：為什麼有人拿它來玩遊戲

這一節算是題外話，但我覺得挺有意思——因為網上流傳最廣的示範，不是客服分流，而是「讓模型玩遊戲」。

先看看大家都在做什麼

最早那波熱度，來自一位工程師在社群上貼出的超級瑪利歐示範。畫面很有說服力：模型不是「看懂畫面」，而是拿到一組數字——角色位置、速度、敵人距離、前方有沒有洞——然後從幾個固定動作裡挑一個。那次示範顯示的回應時間是 51 毫秒，它選了「向右跳」，信心 73%。

官方自己也有 DOOM 的示範，著重點同樣是「一百毫秒級的回應，足以支撐即時控制」。

之後有位日本工程師把它做成了可以真的玩的實驗室：自己重現瑪利歐第一關，同時跑四種不同的「決策腦」——雲端模型、本地小模型、從模型蒸餾出來的 LightGBM、以及 Laya。他的結論相當克制：加上搜尋與安全輔助之後，四種都能通關；但把輔助拿掉，四種都過不了。 他沒有把功勞算給模型。

另一位作者走得更遠：把「老師模型」的操作記錄下來，訓一棵決策樹（LightGBM），結果在即時模式下 100 次全部通關，單次判斷只要 0.25 毫秒。他的觀察很直接——如果輸入根本不是自然語言（遊戲狀態本來就是一堆數字），傳統機器學習可能更順手。

社群裡也有人做貪吃蛇：把地圖大小、蛇頭、蛇身、食物座標整理成一段文字，丟給模型，讓它在上下左右裡選一個；還有 Laya 的玩家強調「本地、免費、一秒可以做 30 次決策」，示範用的是打磚塊、像素鳥、俄羅斯方塊這類輕量遊戲。

這些示範有一個共同點：模型不是玩家，它是「拿手把的那個人」。 看懂畫面、算碰撞、畫動畫，全都是遊戲程式自己在做；模型只負責在每一個瞬間回答「下一步選哪個」。中間那段把遊戲狀態翻譯成文字、再把選擇翻譯成按鍵的程式，社群稱它為 harness。harness 寫得好不好，往往比換哪個模型更左右成敗。

我們自己也做了一個小實驗

看完這些，我忍不住做了一個最簡單的版本：一個一維跑酷。障礙有兩種——低的要跳、高的要蹲——動作只有三個（跑、跳、蹲），每一個 tick 問模型一次。

先做「距離 × 障礙類型」的診斷，每格問三次：

也就是說，障礙還沒貼到臉上時，它其實都答對了；唯一一個明顯的盲點，是障礙已經貼到面前、而且是「要蹲」的那一種——它會選「跑」，而且信心只有 0.36。

接著我又玩了一個設定：讓它的動作延遲幾格才生效，看看反應時間有多重要。

這個結果第一次看到是有點反常的：「延遲一點」竟然比「零延遲」好得多。 想了一下就明白了——因為動作可以「先排隊」。模型在障礙還有兩三格遠的時候就已經答對了（該跳的就跳、該蹲的就蹲），這個動作過一兩格之後生效，剛好趕上。反倒是「零延遲」逼它非要在障礙貼臉的那一刻才決定，而那一刻正好就是它唯一的盲點。

至於延遲到四、五格就崩掉，也很好理解：動作太早做，等障礙真的到的時候已經過期了。

老實說，這個小遊戲規則太乾淨，證明不了什麼大結論。它頂多說明兩件事：這條路線是通的；以及在遊戲這種場景裡，真正難的通常不是「模型準不準」，而是「什麼時候問它、它的答案什麼時候生效」。 問得太晚，再準也來不及；問得太早，動作會過期。

那，遊戲控制到底適不適合用這類模型？

多數比較成熟的示範，做法其實是一樣的：規則或強模型負責戰術與安全邊界，決策模型只在分支點做小判斷。 這跟前面幾節說的是同一件事——找對位置，比找對模型更重要。

10. 三條鐵律

1. 不確定性必須被保留。 一個不敢說「不確定」的判斷器，比一個會出錯的判斷器更危險。引進方案的第一個驗收項，應該是例 1 那種「低信心就轉人工」的能力。
2. 證據量決定上限，不是配方。 我們的經驗是：當 hold-out 只有三十多個正例時，單題就能造成數個百分點的波動。先建 400+ 真實題的評測集，再談選型與微調。
3. 可替換性優先於性能。 這一類模型仍在以週為單位迭代。同構的 API 契約給了罕見的抽換自由——任何設計都應保持「下週換一家」的能力。

引進前的一個自問

「如果這一題答錯，代價是什麼？」

• 代價可承受（分錯類 → 重試，如例 2、例 3）→ 可以用
• 代價不可承受（合規、金額、對外文件，如例 4、例 5）→ 只做初篩，人工終審不可移除

附錄：方法與來源備註

• 本文所有實測數字均為 2026-09-27 在本地環境的 zero-shot 量測，題集與評測協議與各項目官方不同，不可直接與官方 benchmark 比較。
• 「門控」指以模型輸出的最大機率為門檻，只在高於門檻時自動採用，其餘轉交人工或後備流程。
• 官方數字引自各項目公開文件；第三方評測引自公開的獨立分析。
• 第 9 節的遊戲實驗為自建的一維跑酷環境（規則完全確定性），用以觀察「提問時機」與「動作生效時機」對結果的影響，並非任何官方 benchmark，也不代表模型在真實遊戲中的表現。
• 本文為技術評測，不構成任何投資或採購建議；所有數字以各項目最新版本的公開文件為準。