獨立指南認識 TypeSafe AI 的 Jev:獨立指南
Jev 實用指南

實際工作流程中的決策

Jev 可以用在哪些情境?

閱讀社群回報和實用 Jev 任務,載入可編輯範本,並透過來源和證據標示區分教學範例與實測結論。

獨立指南上次查核日期 更新日期

先看重點

從真實的判斷需求出發,查看來源,同時了解範例的限制。

先看問題,再看技術

了解任務是什麼、需要怎樣的判斷,以及人們如何使用它。展開案例,查看方法、依據與限制。

Vercel

執行指令前,先做審查

Vercel 評估了 Jev 是否適合作為 fx 自動模式的指令審查器。模型判斷本身不代表獲得執行指令的權限。

作者報告的實驗 · 本站未重測

查看這個案例
Every

檢查一篇文章

Every 用明確的寫作檢查項目測試文章。結果協助作者確認哪些文章和檢查項目需要複核;漏檢問題仍須人工留意。

作者報告的實驗 · 本站未重測

查看這個案例
Good Start Labs

按評分標準檢查回答

Good Start Labs 報告了評估遊戲任務和研究回答的實驗。判斷分歧提醒人們進一步檢查,不能證明判斷正確。

作者報告的實驗 · 本站未重測

查看這個案例

Vercel · Guillermo Rauch

查看作者的原始貼文

Vercel 評估了 Jev 是否適合作為 fx 自動模式的指令審查器。模型判斷本身不代表獲得執行指令的權限。

這會載入 X 的內容,X 可能處理你的裝置資訊。只有你選擇載入後,才會請求這些媒體內容。

如果貼文無法載入,可以開啟原始來源。本頁的說明仍可閱讀。

開啟原始貼文

體驗一個任務

從一個問題和可編輯的範例開始。

選模型之前,先找出要做的決策

適合起步的任務,應有範圍明確的問題、足以回答問題的證據,以及清楚的下一步。以客戶訊息來說,這些可能是客戶要求的服務、相關帳號紀錄,以及建議送往的處理佇列;以文件來說,則可能是讀者的查詢、文件文字,以及可供檢視的位置。

這裡的流程,除非明確標示為官方範例或社群回報,否則均屬設計建議。本站已進行即時呼叫以檢查網站功能,但未獨立重現第三方案例,也未發表品質或效能基準評測。示範能執行或某次模型回傳結果,不能證明這些應用的準確率。

社群案例:開發者如何使用 Jev

這些公開分享展示了開發者實際測試過的具體判斷任務。每個摘要都連結到作者原文;收錄不代表 TypeSafe 或案例團隊為本站背書。

Vercel:自動執行前審查指令

作者公開分享的實驗 · 本站未重測

Guillermo Rauch 分享了 Vercel 為 fx 自動模式中的安全審查器評估 Jev 的實驗。待檢查的輸入是指令,模型判斷用於協助決定指令是否適合自動執行。原文介紹的是審查器的候選調整,沒有確認 Jev 已上線,也沒有公開完整審查規則。模型判斷本身不構成執行權限。

閱讀原始案例

Every:用明確的問題檢查寫作

作者公開分享的實驗 · 本站未重測

Every 的 Mike Taylor 用文章文字測試了多項針對寫作模式的問題。Jev 為各項檢查回傳判斷,協助作者確認哪些文章和檢查項目需要複核。這是一項文字審閱實驗,不能據此認定文章由誰撰寫。作者曾報告漏檢情況,寫作者仍須檢查原文並決定如何修改。

閱讀原始案例

Good Start Labs:按評分標準檢查回答

作者公開分享的實驗 · 本站未重測

Alex Duffy 介紹了搶先體驗期間的實驗:依據給定標準評估遊戲任務和金融研究回答。輸入包括回答和評分標準,判斷結果表示各項檢查是否通過;團隊利用判斷分歧安排進一步審閱。這是作者報告的評估,不能證明模型判斷一定正確,也不能據此認定已有自主評分產品上線。

閱讀原始案例

到官方 Playground 嘗試寫作檢查

原創虛構教學範例,不包含模型執行結果。 這是受寫作審閱情境啟發的獨立練習,不是 Every 的提示詞或對其實驗的重現。Orbit Notes 是虛構產品。輸入和問題在各語言頁面中保留相同英文,方便複製。

前往官方 Playground

此連結開啟 TypeSafe 的外部頁面。需要使用自己的帳號登入並具備相應存取權限;加入 waitlist 本身不代表已獲准使用。

  1. 將下方範例貼到 state 輸入區。

  2. 按下方名稱和說明新增 3 個 Noul 問題。官方快速入門介紹了如何填寫 state 和問題。

  3. 在官方 Playground 執行請求。搭配每個問題閱讀回傳的機率,再依需要修改範例、重新執行。

虛構輸入

查看技術細節
Orbit Notes saves your drafts locally.
Your drafts are stored on your device.
Click Export to download a copy.

待填寫的問題

查看技術細節
repetition (Noul)
Does the text repeat a claim without adding new information?

clear_action (Noul)
Does the text explain what happens when the reader clicks Export?

guaranteed_safety (Noul)
Does the text claim that a draft can never be lost?

檢查前兩句是否提供了不同資訊、Export 操作的結果是否說明清楚,以及原文是否承諾草稿永遠不會遺失。這些問題彼此獨立,機率不必加起來等於 1。將模型判斷作為人工審閱的線索;本練習不提供預期分數或自動決策門檻。

四種角色,四個起點

開發者:審查語意規則

可以試著定義一條一般 lint 檢查不易掌握的明確慣例:這次變更是否新增了會顯示給使用者的錯誤,卻沒有說明如何恢復?提供相關差異內容與規則,再回傳供審查參考的訊號。官方應用情境地圖包含程式碼語意 lint 檢查;這項具體檢查則是本站提出的示意建議。

請保留編譯器、測試套件與精確的 lint 規則。由審查者檢視被標記的程式碼行,判斷疑慮是否成立。先以建議性留言開始,了解誤報的代價,再決定是否將檢查設為合併條件。這是整合建議,並非本站提供的現成 PR 機器人。

客服團隊:將負責單位與緊急程度分開判斷

情緒不滿的客戶可能需要帳務團隊,而非工程團隊;語氣看似平靜的訊息,也可能描述緊急的服務中斷。請分別詢問處理單位與時效急迫性,再套用佇列規則。以下工單範例來自官方快速入門

應用程式仍須查詢帳號事實、去除重複工單,並執行退款或帳號變更的規則。分類結果不能證實回報的故障確實發生。

搜尋與 RAG 團隊:撰寫答案之前,先選擇證據

檢索增強生成(Retrieval-augmented generation,RAG)會將檢索到的資料提供給文字生成模型。可以評估在檢索與生成之間加入 Jev。TypeSafe 的 RAG 段落實作指南分別檢查相關性、可用證據、矛盾與試圖下達指令的內容,再由程式碼決定納入、標記或排除段落。

請將來源識別名稱與判斷一起保留。互相矛盾的證據可能值得明確警示,而不是默默刪除。請評估篩選器是否會移除回答困難查詢時唯一需要的段落。最終措辭仍由生成模型負責;這兩個階段都不應凌駕文件存取權限。

資安團隊:安排分析人員的審查優先順序

TypeSafe 的防護檢查實作指南示範如何檢查輸入訊息與生成回覆,回傳各種危害的機率及依序分級的嚴重程度評估,再由程式碼套用回應規則。

初次整合時,請保留既有偵測流程,並將建議審查佇列與分析人員的判斷互相比對。分別追蹤漏掉的事件與不必要的升級處理。模型分數低,不應成為授予工具權限、停用既有控制措施,或認定附件無害的依據。請參閱對抗性輸入的限制

完整範例:在文件中找出答案

1. 任務與輸入

搜尋實作指南中的 GitHub 服務條款文字:共 218 行,每行都有識別 ID,使用的模型為 jev-1.12實作指南與完整指令碼提供完整輸入的連結,並說明如何重播範例。

2. 問題

一個請求同時詢問 where(以行 ID 為選項的 Choice)與 exists(Noul:文件是否包含答案?)。

3. 公開輸出節錄

以下為選取的數值,並非完整 API 回應:

查看技術細節
query: who owns the code I upload?
exists: 0.98
L052: 0.95

符合的原始文件行開頭為:L052 | You own Your Content.

4. 後續處理

實作指南會依機率排列各行,並透過 ID 找回來源文字。其答案存在判定規則是:大於或等於 0.7 表示有答案,低於 0.35 表示沒有答案,兩者之間則表示只有部分答案。因此,這個範例會指向 L052,並通過答案存在檢查。

5. 限制與來源

這些門檻與較早的模型版本都屬於該範例。重播不等於新的量測。它示範的是檢索,不是法律解釋,也不能證明對其他文件的準確度。原始案例與展示的輸出

為什麼要使用兩個訊號?

Choice 會在提供的選項之間分配機率,所有選項的機率總和為 1。因此,機率最高的選項只是相對勝出,不是對「確實存在適當選項」的獨立保證。TypeSafe 文件記載,Choice 最多支援 255 個選項。Choice 語意與限制

我們建議在結果紀錄中同時保留位置與答案是否存在的判斷。不要把排名第一的文件行直接當成無條件成立的答案。請展示來源文字供人檢視、明確處理證據缺漏或不完整的情況,並保留文件版本,避免後續編輯在無提示的情況下改變 ID 所代表的內容。

調整這個設計時,請在審查案例中納入沒有答案的文件,也要納入答案跨越多行、或問題措辭包含錯誤前提的情況。這些案例能檢驗你真正需要的檢索規則,而不只是看排名第一的文件行是否看起來合理。

完整範例:客服工單分流

輸入、問題與文件記載的輸出

範例中的客戶描述 Stripe 連線已失敗三天,造成銷售損失,並表示急需協助。請求會詢問負責部門、不滿程度與緊急程度。此處採用訊息轉述。

問題 定義摘要 公開結果
department — Choice 從帳務(billing)、技術支援(technical)或業務(sales)中選擇 technical;機率依序為 0.1590.840.001;信心值 0.596
frustration — Score 依語氣,從平靜到非常生氣分為三個等級 在 0–2 尺度上的 Score 為 1.035;信心值 0.842
is_urgent — Noul 評估時效急迫性 0.999

來源:快速入門的請求與回應

將結果轉成建議

以下為本站用來說明的程式碼。門檻是示意性的規則選擇,並非經過驗證的設定:

查看技術細節
function proposeRoute(response) {
  const department = response.answers.department;
  const urgency = response.answers.is_urgent.noul;

  return {
    queue: department.confidence >= 0.7
      ? department.choice
      : "manual-triage",
    priority: urgency >= 0.9 ? "urgent" : "normal",
    suggestedTeam: department.choice,
  };
}

套用公開數值後,這個函式會建議進行緊急人工分流,並推薦技術支援團隊。機率最高的部門並未通過我們選定的信心值門檻。這個範例不會實際指派任何工單。

機率與信心值是不同欄位。TypeSafe 從分布推導 Choice 與 Score 的信心值;Noul 則沒有獨立的信心值欄位。信心值文件

將這類建議接到工單系統之前,請驗證回應、定義衝突解決方式,並確保失敗可被觀察到。分別評估分流錯誤與漏掉緊急工單的情況。這個範例無法確立客戶的帳號狀態,也不會解決整合問題。

社群回報:探索網路釣魚郵件分流

一位 Discord 參與者於 2026 年 9 月 17 日 14:24–14:27 UTC 描述了早期 Python SDK 實驗,希望協助資安維運,並在之後接到 SOAR 流程。對方表示初期結果令人鼓舞,同時觀察到結果會受到評估準則的措辭與詳細程度影響。實驗介紹後續觀察

**這是社群參與者的自述。**它無法確立偵測準確度、偽陽性率、速度、節省幅度、確定性行為或正式環境整合成果。我們未重現這項實驗。在擷取的對話中,未觀察到經確認的官方回覆;研究只涵蓋選取的討論,不是完整的社群歷史。連結可能需要社群存取權限。

選定一個下一步

選擇一項結果可供檢視、審查流程也能負擔的決策。先從取得使用權限與送出請求開始,透過定價指南估算流程預算,並在將輸出接到自動動作之前,閱讀限制說明

來源與延伸閱讀

本指南以官方文件及附有連結的社群回報為依據。社群觀察均註明原作者。

  1. 官方逐行語意搜尋實作指南
  2. 官方客服工單快速入門
  3. TypeSafe 應用情境地圖
  4. RAG 段落分類實作指南
  5. LLM 防護檢查實作指南
  6. Choice 輸出與選項
  7. 信心值與機率
  8. 社群網路釣魚實驗:介紹
  9. 社群網路釣魚實驗:後續觀察
  10. Vercel 指令安全審查實驗:Guillermo Rauch
  11. Every 寫作檢查實驗:Mike Taylor
  12. Good Start Labs 評分標準檢查實驗:Alex Duffy
  13. TypeSafe 官方 Playground
我們如何查核來源