Jevの既知の弱点とは｜jev-1.13の9つの苦手と回避策、日本語の精度、データの扱い

Jev（ジェヴ）は校正された判定を返しますが、どこで間違えやすいのでしょうか。
結論から言うと、公式ドキュメントは jev-1.13 の弱点を9つ挙げ、そのほぼすべてに「計算と分岐はコードに戻す」という同じ回避策を示しています。
業務に組み込む前に知っておけば、質問の書き方と state（状態）の絞り方でつまずきの大半を避けられます。

Jevの「弱点」とは

TypeSafe AI は Jev 1.13 jaggedness というページで、現行モデルの苦手を公開しています。
jaggedness（ぎざぎざ）は、得意と不得意の差が大きい状態を指します。
2026年9月17日に見直され、多くは後の版で直る見込みとされています。
System One の直感的な判断は得意で、間接的な推論と数値の精密さが苦手という説明です。

9つの弱点と回避策

#	弱点	公式の回避策
1	文字どおりに読む	条件を正確に書き、選択肢ごとに criteria（基準）を置く
2	計算と数値	算術はコードに残す
3	日付と時刻の比較	部品を取り出し、比較はコードで
4	間接参照	推論の段数を減らし、state の該当箇所を名指す
5	無関係な情報の多い state	先に絞り込み、質問に要る部分だけ送る
6	敵対的な内容	精密に書き、公開前に境界例を試す
7	矛盾する instructions と criteria	両者をそろえる
8	構造的な整合性の不保証	各判断は一方向で聞き、恒等式はコードで守る
9	文章生成	生成モデルを使う

1. 文字どおりに読む

Jev は書かれた質問に答え、意図した質問には答えないとされています。
範囲を限る語、否定、暗黙の条件は額面どおりに読まれます。
誤答に「本当はこう聞きたかった」と言いたくなったら、その説明が instructions（指示文）に欠けていた半分だという助言です。

2. 計算と数値

文字数や出現回数、長いリストの件数を数えるのは苦手で、対象が大きいほど誤差が増えるとされます。
公式の回避策は、候補ごとに Noul（ヌール、はい／いいえ）を1問ずつ聞き、合計はコードで取る形です。

from typesafe_sdk import Noul, TypeSafeClient

client = TypeSafeClient(model="jev-1.13")
YES = 0.5  # up to you on what you want the threshold to be, depends on your usecase.

items = ["typesafe", "apple", "california", "banana", "likes", "calibration", "orange", "vertex"]

result = client.system_one(
    {"items": items},
    {
        f"item_{i}": Noul(instructions=f"Is `items[{i}]` the name of a fruit?")
        for i in range(len(items))
    },
)

count = sum(result.nouls[f"item_{i}"].noul > YES for i in range(len(items)))

色を16進数で渡すより英語名で渡すほうが良いなど、数値表現より意味表現のほうが性能が出るとされています。
Score（段階採点）の期待値をしきい値判定に使うのは可ですが、段階の間の正確な値を補間して復元する用途には向かないという説明です。

3. 日付と時刻の比較

日付は順序を持つ量ではなく文字として読まれるため、前後関係や期間の計算は不安定とされています。
月は12通り、日は31通りと候補が閉じているので、Choice（選択）で部品を取り出し、「記載なし」も選択肢に置き、組み立てと計算はコードで行う分担です。

4と5. 間接参照と、大きすぎる state

二重否定や「性質の性質」のような多段の推論は精度を落とすため、instructions は直接的に書き、state の該当部分を名前で指すよう案内されています。
無関係な情報が増えるほど精度が下がるとされ、コードで絞れないときは Noul で関連性を判定して落とす方法が挙げられています。

6と7. 敵対的な内容と、矛盾する指示

state はデータとして扱われ、既定では敵意ある内容として警戒されないとされています。
埋め込まれた指示や誘導的な書き方で答えが動く可能性があり、criteria を明示し、公開前に十分に試すよう求めています。
また、true が「いいえ」を意味するような逆転した Noul は性能が落ちるとされ、instructions と criteria を平易な言葉でそろえるのが回避策です。

8. 構造的な整合性は保証されない

似た入力に似た出力が返る一貫性はある一方で、複数の質問の間の恒等式は保証されません。
公式の例では、同じ「返金を求めているか」を Noul と Choice で聞くと、Noul は0.22、Choice の yes は0.01と食い違いました。
質問とその否定形を2つの Noul で聞いた例では、0.72と0.47で合計が1.19になったと示されています。
Noul のしきい値を Choice に持ち越さず、Choice は相対的に「どれか」、Noul は絶対的に「そうか」を答えると割り切る助言です。

9. 文章を生成しない

Jev はテキスト生成の学習をしておらず、Choice を連鎖させて無理に生成させても遅く不確かだとされています。
抽出では、正規表現か生成モデルで候補を出し、Jev に正しい候補を選ばせる分担が勧められています。

Jevがしないことの一覧

しないこと	代わりに
文章の生成	生成モデルに任せ、Jev は選択と検証を担う
画像・音声・動画の入力	テキストに変換してから state に入れる
計算、集計、日付の比較	コードで行い、Jev には意味の判断だけを聞く
顧客データでの微調整	state と criteria で文脈を渡す

日本語での利用について

State のページは、Jev がテキストのみを受け付け、主な学習言語は英語で、CJK を含む他言語は受け付けるが現時点では精度が低いと明記しています。
Models のページも、英語以外の業務に頼る前に自分の内容で試し、振り分けの際は confidence（信頼度）に注意するよう求めています。
日本語を扱うなら、criteria を短く具体的に書き、しきい値を自分のデータで決め直す前提で設計します。

データの扱いと利用上限

Models のページでは、Jev は顧客のリクエストや応答で学習されないと述べられています。
Legal のページには、データ処理契約（DPA）、顧客契約、プライバシーポリシーへの案内があり、企業顧客向けにゼロデータ保持（ZDR、リクエスト内容を保存しない運用）を提供し、問い合わせ先が privacy@typesafe.ai とされています。
利用上限は API リファレンスで説明され、超過時は 429、過負荷時は 529 が返り、指数バックオフで再試行するよう案内されています。
Models のページには具体的な上限値も載っていますが、需要に応じて予告なく変わるという注記が付いています。

活用例｜どんな業種・職種で使えるか

経理や請求業務では、金額の一致や支払期限の計算をコードで済ませ、Jev には「この明細は返金対象の説明か」といった意味の判断だけを聞きます。
数値の突き合わせをモデルに頼らないのが公式の助言です。

EC やコミュニティ運営の担当者は、ユーザー投稿を state に入れる際に、投稿内の指示文で判定が動く可能性を踏まえ、criteria を明示して境界例で試験します。
判定を公開前に人が確認する期間を設ける運用が想定されます。

医療事務や法務の書類処理では、日付や条番号の抽出を Choice で部品化し、組み立てと比較をコードで行う型が使えます。
「記載なし」を選択肢に入れれば、欠けた情報を推測させずに済みます。

つまずきポイント・注意点

state に案件全体を入れると精度が落ちます。質問に要る項目だけを名前付きで渡します。
Noul の合計や Choice との一致を前提にした分岐は崩れます。恒等式が要るならコードで検算します。
Score の値から元の数量を逆算しないでください。しきい値の判定に限って使います。
日本語の精度は英語より低いと明記されています。confidence を見て人に回す割合を決めます。

まとめ｜Jevの弱点は「何を聞かないか」から「質問とコードの分担」への入り口にする

jev-1.13 の9つの弱点は、計算・日付・生成という「コードや別モデルの仕事」と、文字どおりの読み取り・間接参照・敵対的入力という「質問の書き方」の2群に分かれます。
核心は、Jev には意味の判断だけを1問ずつ直接的に聞き、恒等式や集計はコードで守るという分担にあります。
次の一手は、いま書いている質問を9つの表と照らし、数を数えさせている箇所と否定形の指示を先に書き直すことです。