A
返回 發現
發現2026/09/19 Bryan Chan22 分鐘閱讀

「不生成文字的模型」——Jev 與 System One 新品類:當 AI 只回答選擇題,Agent 架構會怎麼變?

TypeSafe AI 以 $40M seed 走出 stealth,發布 Jev——一個不生成文字、只回答類型化問題(choice / score / noul)的 System One 模型。一次 forward pass 並行回答多條問題,回傳校準概率,延遲 ~100ms,定價 $0.042/MTok。本文拆解 RLCD 訓練法、與 RLHF 的根本差異、開源複製品生態(OpenJev / NanoJev / Jevlike 等 7 個項目),以及「決策與生成分離」對 Agent 架構的深層啟示。

一句話版本

Jev 是一個不生成任何文字的 frontier 模型——它只回答你給的選擇題,回傳校準過的概率分佈,一次 forward pass 並行處理數百條問題,延遲約 100ms,每百萬 input tokens 收費 $0.042。

這不是一次漸進式改善。它代表一個新品類:System One 模型——專門做快速、結構化、可校準的決策,把「判斷」與「寫作」徹底拆開。對正在構建 agent 架構的團隊,這是一個值得認真評估的基礎組件。


項目概覽

項目 數值
出品 TypeSafe AI(三藩市,2024 年成立)
發布日期 2026-09-15(走出 stealth)
融資 $40M seed,DCVC 領投;估值約 $200M(Forbes 報道)
創辦人 Diogo Almeida(CEO,RLHF/InstructGPT 共同發明人,前 Google Brain / OpenAI)
團隊背景 OpenAI、Google Brain、Meta FAIR、Stripe、Airbnb、Plaid、Docker
首個模型 Jev(版本 jev-1.13.0,別名 jev-latest / jev-preview
模型類別 System One Model(不生成文字,只輸出類型化決策)
題型 choice(≤255 選項)、score(2-10 有序等級)、noul(yes-no 概率)
延遲 70-500ms,多數 ~100ms
定價 $0.042 / 百萬 input tokens,output 免費
限流 250,000 tokens/s、1,200 requests/min
接入方式 TypeSafe SDK(waitlist 早期訪問)或 Vercel AI Gateway(typesafe-ai/jev

為什麼這件事重要:一個反直覺的模型

過去三年,整個行業的直覺是「更大的模型 → 更強的生成能力 → 更好的 agent」。Jev 走了一條完全相反的路:

刻意放棄文字生成能力,換取結構化決策的速度、成本與確定性。

它不能寫回覆、不能生成代碼、不能摘要、不能解釋推理。但它在「這封 support ticket 屬於哪個部門?」「這條評論的毒性等級?」「這個交易是否可疑?」這類高頻、高量、需要判斷力的決策上,比 frontier LLM 快兩個數量級、便宜數倍——而且結構化輸出錯誤率為零(by construction,因為根本沒有生成過程,答案必然落在你定義的 schema 內)。

這對 agent 架構的啟示是深層的:不是所有智能行為都需要生成文字。大量 agent 內部的「判斷」步驟,其實只是分類、打分、布爾決策——這些正是 System One 模型的領地。


Jev 是什麼:System One 模型的三種題型

Jev 的名字來自 Daniel Kahneman 的《快思慢想》(Thinking, Fast and Slow)——System 1 是快速、直覺、模式匹配的思維系統。Jev 刻意只覆蓋這個維度:

三種題型

題型 輸入 輸出 典型用途
choice 狀態 + ≤255 個選項 各選項概率分佈 分類、路由、實體選取
score 狀態 + 2-10 個有序等級 各等級概率分佈 毒性評分、緊急度、優先級
noul 狀態 + yes/no 問題 P(yes) 守門、布爾判斷、觸發條件

一個 API 請求可以同時包含數百條問題,一次 forward pass 並行回答。這與 LLM 的逐 token 自回歸生成形成根本對比——Jev 沒有「生成」過程,它做的是編碼 → 並行打分 → 概率分佈

校準概率(Calibrated Probabilities)

Jev 的核心賣點不只是「快」,而是校準:它說 90% 的事,大約 90% 是準的。這不是 accuracy——accuracy 是單次判斷的對錯;calibration 是概率與實際結果的長期匹配度。

對 agent 架構而言,calibration 才是真正的決策基礎:你可以根據概率高低設定閾值——高信心自動執行、低信心路由到 LLM 或人類。這是 LLM 的 logprobs 長期做不到的事(LLM 的 token 概率在決策場景上普遍過度自信)。


為什麼快 200 倍又便宜 5 倍

TypeSafe 官方聲稱 Jev 比 frontier LLM 快 193.6 倍、便宜 4.6 倍(公司自稱,屬高階估算,尚未獨立驗證)。但即便打個折扣,量級差異是真實的。原因在架構層面:

  1. 沒有自回歸生成:LLM 的延遲主要来自逐 token 解碼(一個 500-token 回覆需要數百次 forward pass)。Jev 一次 forward pass 完成所有問題,延遲固定在 70-500ms,與問題數量幾乎無關。

  2. 並行 sampler:TypeSafe 設計了專用並行取樣器,一個 prompt 同時展開數百條題型查詢。這更像是 batch inference 的極致優化,而非傳統 chat serving。

  3. output 免費:定價模型完全基於 input tokens($0.042/MTok),output 零成本。對比 GPT-5.6 Luna 的 $0.20-10/MTok input + 可觀 output 費用,Jev 在高吞吐決策場景的成本優勢是結構性的。

  4. 更小的有效模型:雖然 TypeSafe 沒有公開 Jev 的參數量,但從其開源複製品(0.4B-0.6B)的性能推測,Jev 的底層模型規模遠小於 frontier LLM——它只需要足夠做類型化決策,不需要承載世界知識與生成能力。


RLCD:與 RLHF 的根本差異

Jev 的訓練方法叫 RLCD(Reinforcement Learning for Calibrated Decisions),這是 TypeSafe 的核心技術貢獻。

RLHF 優化什麼?

RLHF(Reinforcement Learning from Human Feedback)優化的是人類偏好:給模型兩個回覆,讓人類選較好的那個,訓練一個 reward model 去預測人類選擇,再用 PPO 等算法優化策略。結果是模型學會「寫出人類喜歡的文字」——但這個「喜歡」與「正確」之間的關係是間接的、模糊的。

RLCD 優化什麼?

RLCD 優化的是概率與實際結果的匹配度:如果模型給某個選項 90% 概率,那在大量類似場景中,該選項確實應該在 ~90% 的情況下是正確的。損失函數直接度量這個 calibration gap(例如 Brier score 或類似校準指標)。

根本差異

維度 RLHF RLCD
優化目標 人類偏好排序 概率-結果匹配度
輸出形式 文字 token 序列 類型化概率分佈
校準性 無保證(普遍過度自信) 核心設計目標
幻覺風險 高(可以自信地說錯話) 低(沒有文字生成,只有概率)
適用場景 開放式生成、對話 封閉式決策、分類、打分

Diogo Almeida 作為 RLHF 的共同發明人,轉而設計 RLCD,這個軌跡本身就值得注意——他不是否定 RLHF,而是在一個特定場景(結構化決策)找到了一個更合適的優化目標。


刻意放棄的能力 = 設計哲學

Jev 最有趣的設計決策不是它能做什麼,而是它不做什麼

  • ❌ 不能寫回覆
  • ❌ 不能生成代碼
  • ❌ 不能摘要
  • ❌ 不能解釋推理
  • ❌ 不能進行開放式對話

這些「不能」不是技術限制,而是設計選擇。TypeSafe 的論點是:當你把「生成」能力從模型中移除,你得到的是:

  1. 確定性輸出:答案必然落在你定義的 schema 內,結構化錯誤率為零。
  2. 可校準的概率:模型不試圖「說服」你,只給出概率分佈。
  3. 極致速度與低成本:不需要自回歸解碼,不需要大參數量承載世界知識。
  4. 可組合性:Jev 的輸出可以直接餵給確定性代碼,不需要解析層。

這背後的哲學是決策與生成分離

Jev 決定,LLM 寫作。

在 agent 架構中,這意味著:

  • 路由、分類、守門、打分 → Jev(System One)
  • 回覆生成、代碼編寫、解釋推理 → LLM(System Two)

兩層模型各司其職,整體系統更快、更便宜、更可控。


開源複製品生態

Jev 的 API 仍在早期訪問(waitlist),但開源社區已經在幾小時到幾天內產出了一批複製品。以下是截至 2026-09-19 的主要項目:

項目 基礎模型 特點 連結
OpenJev(kotobalabs) DeBERTa-v3-large(0.4B) 512 token context;M1 Max CPU 1.8s/4 題;H100 28ms/10 題;三種子 in-domain 0.847±0.005、OOD 0.678±0.012 HuggingFace
openjev(AlexWortega) Qwen3.5-4B / 35B-A3B(MoE) NLI cross-encoder 形式;zero-shot entailment 做 rerank/grade/guard;可從像素直接玩 Doom HuggingFace
NanoJev(C-Tianyu) Qwen3-0.6B + 決策頭 完整權重開源;多狀態並行 GitHub
LightJev-0.6B(rongxinzy) Qwen3-0.6B 合成域研究釋出,含訓練日誌 GitHub
Jevlike Qwen2.5-0.5B 號稱 ~100x 加速(研究起步階段) GitHub
open-alternative-jev(so1) 任意 open-weights LLM 自架 GPU,不依賴 TypeSafe API GitHub
daf-jev(Zenodo, MIT) Python toolkit 含 MCP server + agent skill Zenodo
jev(PyPI v0.3.0) Python 3.14+ 套件 @jev.fn decorator 將函數簽名編譯成 Jev 查詢;pyright/mypy strict 通過 PyPI

幾個值得注意的觀察

OpenJev 的數字最扎實:kotobalabs 給出了完整的三種子實驗、in-domain vs OOD 拆分、與 LoRA-tuned LLaDA-MoE-7B-A1B 的對比(0.835 in-domain,延遲 16 倍),以及 head ablation。這是目前開源複製品中方法論最透明的一個。

openjev 的 NLI 角度有趣:AlexWortega 把 Jev 式決策歸約為自然語言推斷(NLI)——entailment / contradiction / neutral 三分類,然後用這個 primitive 做 rerank、grade、guard,甚至從像素玩 Doom。這展示了「Jev 式決策」的歸約能力:一個足夠強的 NLI cross-encoder 可以充當通用決策引擎。

PyPI 的 jev 套件把 API 接入做到了 Pythonic 極致:一個 @jev.fn decorator,函數簽名就是決策規範,docstring 是 state,return annotation 是 schema——沒有 prompt 字串、沒有 JSON schema、沒有解析層。這是「function signature as decision spec」理念的完整實現。


對 Agent 架構的啟示

1. 結構化決策不必用 LLM

Agent 內部大量步驟是「判斷」而非「生成」:路由分類、實體選取、守門條件、優先級打分。這些步驟用 LLM 做,就像用大炮打蚊子——慢、貴、且概率不可校準。

Jev 式模型提供了一個新選項:把 System One 決策下沉到專用模型,只在需要開放式生成時才調用 LLM。這可以顯著降低 agent 的整體延遲與成本。

2. 本地小模型可行性

OpenJev 在 H100 上 28ms/10 題、在 M1 Max CPU 上 1.8s/4 題的數字表明:Jev 式決策可以在本地小模型上跑,不需要依賴雲端 API。對延遲敏感或隱私敏感的場景(金融交易守門、醫療分類),這是一個重要選項。

0.4B-0.6B 的模型規模意味著它可以跑在消費級 GPU 甚至 CPU 上——這與 WeMM-Embedding 2B 在 Mac Studio 上 47ms 的實測形成呼應:agent 基建的下一代組件,正在向消費級硬體遷移

3. Calibration 是 agent 決策的正確基礎

LLM 的 logprobs 長期被用來做 confidence gating,但 LLM 的 token 概率在決策場景上普遍過度自信(說 99% 的事可能只有 70% 準)。Jev 的 RLCD 訓練直接把 calibration 作為優化目標——這才是 agent 自動駕駛(auto-routing、confidence-gated escalation)的正確基礎。

4. 「決策與生成分離」是架構模式

Jev 的哲學不只是「用另一個模型做分類」。它提出的是一個架構模式:

Agent Loop:
  ├─ System One(Jev / OpenJev):路由、分類、守門、打分 → 快、便宜、可校準
  └─ System Two(LLM):生成、推理、解釋、對話 → 慢、貴、開放式

這個模式與人類認知系統的雙過程理論(Kahneman 的 System 1 / System 2)直接對應,也與 agent 架構中「fast thinking / slow thinking」的分層需求吻合。


冷眼觀察

公司自稱數字需驗證

TypeSafe 聲稱 Jev 比 frontier LLM 快 193.6 倍、便宜 4.6 倍(或 445 倍,依比較基準不同)。這些數字尚未獨立驗證,且高度依賴工作負載、比較基準與網絡環境。SiliconANGLE 報道明確指出「Those figures have not been independently verified and will vary by workload, network location and comparison method.」

在親手跑 benchmark 之前,這些數字應該視為高階估算,而非工程事實。

校準 ≠ 準確

Calibration 是概率與結果的匹配度,不是單次判斷的準確度。一個模型可以完美校準但準確率只有 60%(說 60% 的事確實 60% 對)——這在低難度任務上可以接受,但在高風險決策(醫療、金融)上可能不夠。

開發者需要在自己的數據上驗證 Jev 的 calibration 與 accuracy,而不是盲目信任官方數字。

賽道競爭

Jev 不是唯一瞄準「結構化決策」賽道的玩家。Conformal Prediction、Guidance 框架、Outlines、LLM-based structured output(JSON mode、tool use)都在解決類似問題。Jev 的差異化在於端到端專用模型 + RLCD 校準,但這個護城河是否足夠深,開源複製品的快速湧現(7 個項目在一週內)是一個值得關注的信号。

開源複製品的性能差距

OpenJev 的 in-domain 0.847 / OOD 0.678 數字表明,開源複製品在 OOD 場景上仍有顯著性能下降。TypeSafe 的 Jev 聲稱達到 frontier LLM 水平的 intelligence,但這個聲稱基於私有測試,無法直接與開源數字對比。

結論:開源複製品已經證明「Jev 式決策」的架構可行,但性能差距仍需閉源模型與開源社區共同推進。


結語

Jev 代表的不只是一個新模型,而是一個新品類的出現:System One 模型——專門做快速、結構化、可校準的決策,與 LLM 的開放式生成能力形成互補。

對 agent 架構師而言,它提出了一個值得認真考慮的模式:把決策與生成分離,用 System One 模型處理高頻、高量的判斷步驟,用 LLM 處理需要開放式生成的步驟。這可以顯著降低延遲、成本與不可控性。

開源社區的快速跟進(7 個複製品項目)證明這個品類的吸引力。但公司自稱的性能數字仍需獨立驗證,校準與準確的區別仍需牢記,賽道競爭仍在早期。

我們的下一步:在一個真實 agent 工作流(support ticket triage)上跑 Jev API 與 OpenJev 本地模型,測量真實延遲、成本與 calibration,與現有 LLM-based 方案對比。數據說話。


參考:TypeSafe AI 官方博客 · Flavio Copes 深度拆解 · SiliconANGLE 報道 · OpenJev (kotobalabs) · openjev (AlexWortega) · jev PyPI v0.3.0 · The Register 報道