一句話版本
Jev 是一個不生成任何文字的 frontier 模型——它只回答你給的選擇題,回傳校準過的概率分佈,一次 forward pass 並行處理數百條問題,延遲約 100ms,每百萬 input tokens 收費 $0.042。
這不是一次漸進式改善。它代表一個新品類:System One 模型——專門做快速、結構化、可校準的決策,把「判斷」與「寫作」徹底拆開。對正在構建 agent 架構的團隊,這是一個值得認真評估的基礎組件。
項目概覽
| 項目 | 數值 |
|---|---|
| 出品 | TypeSafe AI(三藩市,2024 年成立) |
| 發布日期 | 2026-09-15(走出 stealth) |
| 融資 | $40M seed,DCVC 領投;估值約 $200M(Forbes 報道) |
| 創辦人 | Diogo Almeida(CEO,RLHF/InstructGPT 共同發明人,前 Google Brain / OpenAI) |
| 團隊背景 | OpenAI、Google Brain、Meta FAIR、Stripe、Airbnb、Plaid、Docker |
| 首個模型 | Jev(版本 jev-1.13.0,別名 jev-latest / jev-preview) |
| 模型類別 | System One Model(不生成文字,只輸出類型化決策) |
| 題型 | choice(≤255 選項)、score(2-10 有序等級)、noul(yes-no 概率) |
| 延遲 | 70-500ms,多數 ~100ms |
| 定價 | $0.042 / 百萬 input tokens,output 免費 |
| 限流 | 250,000 tokens/s、1,200 requests/min |
| 接入方式 | TypeSafe SDK(waitlist 早期訪問)或 Vercel AI Gateway(typesafe-ai/jev) |
為什麼這件事重要:一個反直覺的模型
過去三年,整個行業的直覺是「更大的模型 → 更強的生成能力 → 更好的 agent」。Jev 走了一條完全相反的路:
刻意放棄文字生成能力,換取結構化決策的速度、成本與確定性。
它不能寫回覆、不能生成代碼、不能摘要、不能解釋推理。但它在「這封 support ticket 屬於哪個部門?」「這條評論的毒性等級?」「這個交易是否可疑?」這類高頻、高量、需要判斷力的決策上,比 frontier LLM 快兩個數量級、便宜數倍——而且結構化輸出錯誤率為零(by construction,因為根本沒有生成過程,答案必然落在你定義的 schema 內)。
這對 agent 架構的啟示是深層的:不是所有智能行為都需要生成文字。大量 agent 內部的「判斷」步驟,其實只是分類、打分、布爾決策——這些正是 System One 模型的領地。
Jev 是什麼:System One 模型的三種題型
Jev 的名字來自 Daniel Kahneman 的《快思慢想》(Thinking, Fast and Slow)——System 1 是快速、直覺、模式匹配的思維系統。Jev 刻意只覆蓋這個維度:
三種題型
| 題型 | 輸入 | 輸出 | 典型用途 |
|---|---|---|---|
choice |
狀態 + ≤255 個選項 | 各選項概率分佈 | 分類、路由、實體選取 |
score |
狀態 + 2-10 個有序等級 | 各等級概率分佈 | 毒性評分、緊急度、優先級 |
noul |
狀態 + yes/no 問題 | P(yes) | 守門、布爾判斷、觸發條件 |
一個 API 請求可以同時包含數百條問題,一次 forward pass 並行回答。這與 LLM 的逐 token 自回歸生成形成根本對比——Jev 沒有「生成」過程,它做的是編碼 → 並行打分 → 概率分佈。
校準概率(Calibrated Probabilities)
Jev 的核心賣點不只是「快」,而是校準:它說 90% 的事,大約 90% 是準的。這不是 accuracy——accuracy 是單次判斷的對錯;calibration 是概率與實際結果的長期匹配度。
對 agent 架構而言,calibration 才是真正的決策基礎:你可以根據概率高低設定閾值——高信心自動執行、低信心路由到 LLM 或人類。這是 LLM 的 logprobs 長期做不到的事(LLM 的 token 概率在決策場景上普遍過度自信)。
為什麼快 200 倍又便宜 5 倍
TypeSafe 官方聲稱 Jev 比 frontier LLM 快 193.6 倍、便宜 4.6 倍(公司自稱,屬高階估算,尚未獨立驗證)。但即便打個折扣,量級差異是真實的。原因在架構層面:
-
沒有自回歸生成:LLM 的延遲主要来自逐 token 解碼(一個 500-token 回覆需要數百次 forward pass)。Jev 一次 forward pass 完成所有問題,延遲固定在 70-500ms,與問題數量幾乎無關。
-
並行 sampler:TypeSafe 設計了專用並行取樣器,一個 prompt 同時展開數百條題型查詢。這更像是 batch inference 的極致優化,而非傳統 chat serving。
-
output 免費:定價模型完全基於 input tokens($0.042/MTok),output 零成本。對比 GPT-5.6 Luna 的 $0.20-10/MTok input + 可觀 output 費用,Jev 在高吞吐決策場景的成本優勢是結構性的。
-
更小的有效模型:雖然 TypeSafe 沒有公開 Jev 的參數量,但從其開源複製品(0.4B-0.6B)的性能推測,Jev 的底層模型規模遠小於 frontier LLM——它只需要足夠做類型化決策,不需要承載世界知識與生成能力。
RLCD:與 RLHF 的根本差異
Jev 的訓練方法叫 RLCD(Reinforcement Learning for Calibrated Decisions),這是 TypeSafe 的核心技術貢獻。
RLHF 優化什麼?
RLHF(Reinforcement Learning from Human Feedback)優化的是人類偏好:給模型兩個回覆,讓人類選較好的那個,訓練一個 reward model 去預測人類選擇,再用 PPO 等算法優化策略。結果是模型學會「寫出人類喜歡的文字」——但這個「喜歡」與「正確」之間的關係是間接的、模糊的。
RLCD 優化什麼?
RLCD 優化的是概率與實際結果的匹配度:如果模型給某個選項 90% 概率,那在大量類似場景中,該選項確實應該在 ~90% 的情況下是正確的。損失函數直接度量這個 calibration gap(例如 Brier score 或類似校準指標)。
根本差異
| 維度 | RLHF | RLCD |
|---|---|---|
| 優化目標 | 人類偏好排序 | 概率-結果匹配度 |
| 輸出形式 | 文字 token 序列 | 類型化概率分佈 |
| 校準性 | 無保證(普遍過度自信) | 核心設計目標 |
| 幻覺風險 | 高(可以自信地說錯話) | 低(沒有文字生成,只有概率) |
| 適用場景 | 開放式生成、對話 | 封閉式決策、分類、打分 |
Diogo Almeida 作為 RLHF 的共同發明人,轉而設計 RLCD,這個軌跡本身就值得注意——他不是否定 RLHF,而是在一個特定場景(結構化決策)找到了一個更合適的優化目標。
刻意放棄的能力 = 設計哲學
Jev 最有趣的設計決策不是它能做什麼,而是它不做什麼:
- ❌ 不能寫回覆
- ❌ 不能生成代碼
- ❌ 不能摘要
- ❌ 不能解釋推理
- ❌ 不能進行開放式對話
這些「不能」不是技術限制,而是設計選擇。TypeSafe 的論點是:當你把「生成」能力從模型中移除,你得到的是:
- 確定性輸出:答案必然落在你定義的 schema 內,結構化錯誤率為零。
- 可校準的概率:模型不試圖「說服」你,只給出概率分佈。
- 極致速度與低成本:不需要自回歸解碼,不需要大參數量承載世界知識。
- 可組合性:Jev 的輸出可以直接餵給確定性代碼,不需要解析層。
這背後的哲學是決策與生成分離:
Jev 決定,LLM 寫作。
在 agent 架構中,這意味著:
- 路由、分類、守門、打分 → Jev(System One)
- 回覆生成、代碼編寫、解釋推理 → LLM(System Two)
兩層模型各司其職,整體系統更快、更便宜、更可控。
開源複製品生態
Jev 的 API 仍在早期訪問(waitlist),但開源社區已經在幾小時到幾天內產出了一批複製品。以下是截至 2026-09-19 的主要項目:
| 項目 | 基礎模型 | 特點 | 連結 |
|---|---|---|---|
| OpenJev(kotobalabs) | DeBERTa-v3-large(0.4B) | 512 token context;M1 Max CPU 1.8s/4 題;H100 28ms/10 題;三種子 in-domain 0.847±0.005、OOD 0.678±0.012 | HuggingFace |
| openjev(AlexWortega) | Qwen3.5-4B / 35B-A3B(MoE) | NLI cross-encoder 形式;zero-shot entailment 做 rerank/grade/guard;可從像素直接玩 Doom | HuggingFace |
| NanoJev(C-Tianyu) | Qwen3-0.6B + 決策頭 | 完整權重開源;多狀態並行 | GitHub |
| LightJev-0.6B(rongxinzy) | Qwen3-0.6B | 合成域研究釋出,含訓練日誌 | GitHub |
| Jevlike | Qwen2.5-0.5B | 號稱 ~100x 加速(研究起步階段) | GitHub |
| open-alternative-jev(so1) | 任意 open-weights LLM | 自架 GPU,不依賴 TypeSafe API | GitHub |
| daf-jev(Zenodo, MIT) | Python toolkit | 含 MCP server + agent skill | Zenodo |
| jev(PyPI v0.3.0) | Python 3.14+ 套件 | @jev.fn decorator 將函數簽名編譯成 Jev 查詢;pyright/mypy strict 通過 |
PyPI |
幾個值得注意的觀察
OpenJev 的數字最扎實:kotobalabs 給出了完整的三種子實驗、in-domain vs OOD 拆分、與 LoRA-tuned LLaDA-MoE-7B-A1B 的對比(0.835 in-domain,延遲 16 倍),以及 head ablation。這是目前開源複製品中方法論最透明的一個。
openjev 的 NLI 角度有趣:AlexWortega 把 Jev 式決策歸約為自然語言推斷(NLI)——entailment / contradiction / neutral 三分類,然後用這個 primitive 做 rerank、grade、guard,甚至從像素玩 Doom。這展示了「Jev 式決策」的歸約能力:一個足夠強的 NLI cross-encoder 可以充當通用決策引擎。
PyPI 的 jev 套件把 API 接入做到了 Pythonic 極致:一個 @jev.fn decorator,函數簽名就是決策規範,docstring 是 state,return annotation 是 schema——沒有 prompt 字串、沒有 JSON schema、沒有解析層。這是「function signature as decision spec」理念的完整實現。
對 Agent 架構的啟示
1. 結構化決策不必用 LLM
Agent 內部大量步驟是「判斷」而非「生成」:路由分類、實體選取、守門條件、優先級打分。這些步驟用 LLM 做,就像用大炮打蚊子——慢、貴、且概率不可校準。
Jev 式模型提供了一個新選項:把 System One 決策下沉到專用模型,只在需要開放式生成時才調用 LLM。這可以顯著降低 agent 的整體延遲與成本。
2. 本地小模型可行性
OpenJev 在 H100 上 28ms/10 題、在 M1 Max CPU 上 1.8s/4 題的數字表明:Jev 式決策可以在本地小模型上跑,不需要依賴雲端 API。對延遲敏感或隱私敏感的場景(金融交易守門、醫療分類),這是一個重要選項。
0.4B-0.6B 的模型規模意味著它可以跑在消費級 GPU 甚至 CPU 上——這與 WeMM-Embedding 2B 在 Mac Studio 上 47ms 的實測形成呼應:agent 基建的下一代組件,正在向消費級硬體遷移。
3. Calibration 是 agent 決策的正確基礎
LLM 的 logprobs 長期被用來做 confidence gating,但 LLM 的 token 概率在決策場景上普遍過度自信(說 99% 的事可能只有 70% 準)。Jev 的 RLCD 訓練直接把 calibration 作為優化目標——這才是 agent 自動駕駛(auto-routing、confidence-gated escalation)的正確基礎。
4. 「決策與生成分離」是架構模式
Jev 的哲學不只是「用另一個模型做分類」。它提出的是一個架構模式:
Agent Loop:
├─ System One(Jev / OpenJev):路由、分類、守門、打分 → 快、便宜、可校準
└─ System Two(LLM):生成、推理、解釋、對話 → 慢、貴、開放式
這個模式與人類認知系統的雙過程理論(Kahneman 的 System 1 / System 2)直接對應,也與 agent 架構中「fast thinking / slow thinking」的分層需求吻合。
冷眼觀察
公司自稱數字需驗證
TypeSafe 聲稱 Jev 比 frontier LLM 快 193.6 倍、便宜 4.6 倍(或 445 倍,依比較基準不同)。這些數字尚未獨立驗證,且高度依賴工作負載、比較基準與網絡環境。SiliconANGLE 報道明確指出「Those figures have not been independently verified and will vary by workload, network location and comparison method.」
在親手跑 benchmark 之前,這些數字應該視為高階估算,而非工程事實。
校準 ≠ 準確
Calibration 是概率與結果的匹配度,不是單次判斷的準確度。一個模型可以完美校準但準確率只有 60%(說 60% 的事確實 60% 對)——這在低難度任務上可以接受,但在高風險決策(醫療、金融)上可能不夠。
開發者需要在自己的數據上驗證 Jev 的 calibration 與 accuracy,而不是盲目信任官方數字。
賽道競爭
Jev 不是唯一瞄準「結構化決策」賽道的玩家。Conformal Prediction、Guidance 框架、Outlines、LLM-based structured output(JSON mode、tool use)都在解決類似問題。Jev 的差異化在於端到端專用模型 + RLCD 校準,但這個護城河是否足夠深,開源複製品的快速湧現(7 個項目在一週內)是一個值得關注的信号。
開源複製品的性能差距
OpenJev 的 in-domain 0.847 / OOD 0.678 數字表明,開源複製品在 OOD 場景上仍有顯著性能下降。TypeSafe 的 Jev 聲稱達到 frontier LLM 水平的 intelligence,但這個聲稱基於私有測試,無法直接與開源數字對比。
結論:開源複製品已經證明「Jev 式決策」的架構可行,但性能差距仍需閉源模型與開源社區共同推進。
結語
Jev 代表的不只是一個新模型,而是一個新品類的出現:System One 模型——專門做快速、結構化、可校準的決策,與 LLM 的開放式生成能力形成互補。
對 agent 架構師而言,它提出了一個值得認真考慮的模式:把決策與生成分離,用 System One 模型處理高頻、高量的判斷步驟,用 LLM 處理需要開放式生成的步驟。這可以顯著降低延遲、成本與不可控性。
開源社區的快速跟進(7 個複製品項目)證明這個品類的吸引力。但公司自稱的性能數字仍需獨立驗證,校準與準確的區別仍需牢記,賽道競爭仍在早期。
我們的下一步:在一個真實 agent 工作流(support ticket triage)上跑 Jev API 與 OpenJev 本地模型,測量真實延遲、成本與 calibration,與現有 LLM-based 方案對比。數據說話。
參考:TypeSafe AI 官方博客 · Flavio Copes 深度拆解 · SiliconANGLE 報道 · OpenJev (kotobalabs) · openjev (AlexWortega) · jev PyPI v0.3.0 · The Register 報道