Media
AIの仕組みと選び方JevTypeSafe AINoulChoiceScoreconfidenceBM25

Jevの公式クックブックとは|18本を5テーマで整理し、数値付きの5本を読み解く

AI Hack 編集部確認日

Jev(ジェヴ)の公式クックブックは18本あり、どれから読むか迷います。
結論から言うと、18本は「検証」「検索」「分類・抽出」「エージェント」「一括処理」の5テーマに分かれ、困りごとに近い1本を読めば型がつかめます。
業務に組み込むなら、数値付きの数本から読むのが効率的です。

公式クックブックとは

TypeSafe AI のドキュメント索引には Cookbooks が18本並んでいます。
各ページは Python のノートブック形式で、Noul(ヌール、はい/いいえ)、Choice(選択)、Score(段階採点)を題材に当てます。
応答は json_cache.json に同梱され、再実行で公開時の数値が再生されるとされています。

18本を5テーマで見る

テーマクックブック要点
検証Self-consistency: nouls14問を15回繰り返しぶれを見る
検証Self-consistency: choices「不確か」枠を足し自動処理率を見る
検証Double-checking citations引用が原文に支えられるかを判定
検証Guardrails for LLMs入出力を1回で検査して振り分け
検証Classifying RAG passages検索文書の矛盾や指示混入を除く
検証SDE cascade小型モデルの抽出を検証し必要時のみ大型へ
検索Re-ranking候補30件を1問ずつ採点し並べ直す
検索Line-by-line search規約218行から合う行を選ぶ
分類・抽出Classification using confidence75業種分類、低信頼度は上位区分で
分類・抽出Hierarchical classification深い階層分類を確率で探索
分類・抽出Date extraction年月日を選ばせ、計算はコードで
分類・抽出Pre-parsed value extraction正規表現の候補から選ばせる
分類・抽出Knowledge graph entity alignment450組が同一品かを Score で決める
分類・抽出Structure recovery失われた文章構造を2回で復元
エージェントFunction calling自然文を固定引数の関数呼び出しに
エージェントSkill suggestion182スキルから1つ提案し誤読み込み半減
一括処理Parallel questions13問をまとめて送ると安く速い
一括処理Autoresearch feature discovery質問を自動提案して回帰モデルを改善

数値で読む5本

Parallel questions

GDPR の記事(約54,000字)に13問を投げる例です。
公式ドキュメントでは、1回にまとめると13回に分けるより12.2倍安く10.0倍速く、答えは同じだったとされています。

Re-ranking

法律文書を BM25(単語一致の検索)で30件に絞り、各候補に「引用元か」を Noul で聞く例です。
公式ドキュメントでは、正解の1位率が5%から18%、10位以内が38%から62%に上がり、1,200回の費用は0.0645ドルとされています。

Skill suggestion

1回目で全スキルを Choice で順位付けし、2回目で上位3件を精読します。
公式ドキュメントでは、誤った読み込みが16.8%から7.3%、不要な読み込みが9.8%から4.0%に減ったとされます。

Classification using confidence

年次報告を75業種に Choice で分類し、confidence(信頼度)0.9未満なら上の区分で報告します。
公式ドキュメントでは、高信頼度の半分は正答率90%、低い半分は40%で、後者を上位区分にすると70%になったとされます。

Double-checking citations

引用文の有無は文字列一致で確かめ、あれば「文脈は主張を支えるか」を Choice で聞き、confidence 0.8未満は人に回します。
8件の題材では、正しい4件が0.93以上で verified、誤り4件は捕まったとされています。

どれから読むか

活用例|どんな業種・職種で使えるか

士業や不動産の事務では、契約書の日付を取る Date extraction の型が使えます。
年月日を選ばせ、期限計算はコードで行います。

EC のサポートでは、Guardrails の Noul 群を問い合わせの一次検査に使えます。
兆候ごとの確率をしきい値で担当者へ回します。

社内 FAQ 検索を作る情シス担当は、Re-ranking の1問採点を社内文書に当てられます。
絞ってから並べ直す型です。

つまずきポイント・注意点

まとめ|公式クックブックは「読んで型を知る」から「自分の題材で数値を出す」への入り口にする

18本はどれも「判断は Jev、計算と分岐はコード」の分担です。
核心は、確率や confidence をしきい値で分岐させる設計にあります。
次の一手は、目的別に1本を選び、json_cache を消して自分の題材で数値を出し直すことです。

出典

  1. TypeSafe AI documentation index
  2. Parallel questions
  3. Re-ranking
  4. Skill suggestion
  5. Classification using confidence
  6. Double-checking citations
この記事で扱ったツールJevTypeSafe AINoulChoiceScoreconfidenceBM25

AI Hackマーケット公式LINE

このメディアは、AI Hackマーケットが運営しています。
AI Hackマーケットは、AIノウハウを売買できるマーケットプレイスです。
現在ローンチ準備中のため公式LINEにご登録ください。
ご登録いただくと、実績あるクリエイターの新着記事や、記事クーポン情報をお届けします。

友だち追加LINE友だち追加QRコード