Jevの既知の弱点とは|jev-1.13の9つの苦手と回避策、日本語の精度、データの扱い
TypeSafe AIが公開するjev-1.13の9つの弱点(文字どおりの読み取り、計算、日付、間接参照、敵対的入力など)と公式の回避策、日本語の注意点、学習不使用とZDRの方針をまとめます。

Jev(ジェヴ)の公式クックブックは18本あり、どれから読むか迷います。
結論から言うと、18本は「検証」「検索」「分類・抽出」「エージェント」「一括処理」の5テーマに分かれ、困りごとに近い1本を読めば型がつかめます。
業務に組み込むなら、数値付きの数本から読むのが効率的です。
TypeSafe AI のドキュメント索引には Cookbooks が18本並んでいます。
各ページは Python のノートブック形式で、Noul(ヌール、はい/いいえ)、Choice(選択)、Score(段階採点)を題材に当てます。
応答は json_cache.json に同梱され、再実行で公開時の数値が再生されるとされています。
| テーマ | クックブック | 要点 |
|---|---|---|
| 検証 | Self-consistency: nouls | 14問を15回繰り返しぶれを見る |
| 検証 | Self-consistency: choices | 「不確か」枠を足し自動処理率を見る |
| 検証 | Double-checking citations | 引用が原文に支えられるかを判定 |
| 検証 | Guardrails for LLMs | 入出力を1回で検査して振り分け |
| 検証 | Classifying RAG passages | 検索文書の矛盾や指示混入を除く |
| 検証 | SDE cascade | 小型モデルの抽出を検証し必要時のみ大型へ |
| 検索 | Re-ranking | 候補30件を1問ずつ採点し並べ直す |
| 検索 | Line-by-line search | 規約218行から合う行を選ぶ |
| 分類・抽出 | Classification using confidence | 75業種分類、低信頼度は上位区分で |
| 分類・抽出 | Hierarchical classification | 深い階層分類を確率で探索 |
| 分類・抽出 | Date extraction | 年月日を選ばせ、計算はコードで |
| 分類・抽出 | Pre-parsed value extraction | 正規表現の候補から選ばせる |
| 分類・抽出 | Knowledge graph entity alignment | 450組が同一品かを Score で決める |
| 分類・抽出 | Structure recovery | 失われた文章構造を2回で復元 |
| エージェント | Function calling | 自然文を固定引数の関数呼び出しに |
| エージェント | Skill suggestion | 182スキルから1つ提案し誤読み込み半減 |
| 一括処理 | Parallel questions | 13問をまとめて送ると安く速い |
| 一括処理 | Autoresearch feature discovery | 質問を自動提案して回帰モデルを改善 |
GDPR の記事(約54,000字)に13問を投げる例です。
公式ドキュメントでは、1回にまとめると13回に分けるより12.2倍安く10.0倍速く、答えは同じだったとされています。
法律文書を BM25(単語一致の検索)で30件に絞り、各候補に「引用元か」を Noul で聞く例です。
公式ドキュメントでは、正解の1位率が5%から18%、10位以内が38%から62%に上がり、1,200回の費用は0.0645ドルとされています。
1回目で全スキルを Choice で順位付けし、2回目で上位3件を精読します。
公式ドキュメントでは、誤った読み込みが16.8%から7.3%、不要な読み込みが9.8%から4.0%に減ったとされます。
年次報告を75業種に Choice で分類し、confidence(信頼度)0.9未満なら上の区分で報告します。
公式ドキュメントでは、高信頼度の半分は正答率90%、低い半分は40%で、後者を上位区分にすると70%になったとされます。
引用文の有無は文字列一致で確かめ、あれば「文脈は主張を支えるか」を Choice で聞き、confidence 0.8未満は人に回します。
8件の題材では、正しい4件が0.93以上で verified、誤り4件は捕まったとされています。
士業や不動産の事務では、契約書の日付を取る Date extraction の型が使えます。
年月日を選ばせ、期限計算はコードで行います。
EC のサポートでは、Guardrails の Noul 群を問い合わせの一次検査に使えます。
兆候ごとの確率をしきい値で担当者へ回します。
社内 FAQ 検索を作る情シス担当は、Re-ranking の1問採点を社内文書に当てられます。
絞ってから並べ直す型です。
18本はどれも「判断は Jev、計算と分岐はコード」の分担です。
核心は、確率や confidence をしきい値で分岐させる設計にあります。
次の一手は、目的別に1本を選び、json_cache を消して自分の題材で数値を出し直すことです。