2026.09.21AI Practice

判定AI「Jev」を3つの作業で試した：要らなかった場面と、役に立った場面

試用の記録です。氏名はすべて架空のもの、判決は裁判所のウェブサイトで公開されているものだけを使いました。結果は、私の設定と小さなデータに限った話で、サービスの性能や安全性を評価・保証するものではありません。

Jev（Typesafe AI）は、文章を書かずに、質問に対して確率や選択肢で答えるAIです。前の2本のノートで、同姓同名のチェックを試しました。今回は、そこに判例を題材にした実験を2つ足して、「どんな作業なら使えるのか」をまとめます。先に結論を書くと、使いどころは、はっきり分かれました。

結論

文字の照合で解ける作業では、Jevは要らなかった。規則（対応表や文字列の一致）のほうが、確実で、無料で、毎回同じ結果になる。
文章を読んで意味を判断する作業では、Jevが役に立った。単純な規則が8〜9割だった問いで、Jevは95〜97％だった。
どの実験でも、つまずきの原因は、AIそのものより、AIに渡す手前の処理や、質問の作り方にあった。

実験1：氏名の突き合わせ（要らなかった）

二つの名簿を突き合わせ、同じ氏名を見つける作業です。渡辺と渡邉のような異体字を、同じ名前として拾えるかを、架空の氏名321組で測りました。詳しくは前のノートに書きました。

Jevは、異体字を1件も見逃さなかった。一方で、洋平と陽平のような、読みが同じ別の名前にも高い点を付けた。
異体字は、文字の対応表で正規化すれば、確実に拾える。Jevが得意だった部分は、表で足りる部分だった。
いちばんの問題は、Jevに渡す前の絞り込みで、同じ名前の約2割を取りこぼしていたことだった。

実験2：判例一覧の振り分け（これも要らなかった）

裁判所の判例検索で、ある語を全文検索すると、188件が見つかりました。この一覧から、事件名を手がかりに、特定の種類の事件を抜き出す作業です。別のAIエージェントに実験させたところ、「事件名に特定の語を含むか」という規則とJevの判定が、30件中30件で一致した、という報告が返ってきました。

一見、よい結果です。しかし、これは検証になっていません。規則もJevも、同じ事件名を見ているからです。事件名に答えが書いてあれば、規則で100％解けます。それをJevに解かせ直しただけでした。

一覧には、事件名が空欄のものが26件ありました。規則では解けない、まさにJevの出番のはずの部分です。ところが、その実験では、空欄のままJevに渡していました。判断材料のない質問に、低い点が返ってきただけで、26件は実質、未分類のままでした。AIエージェントの報告書は「成功した」という書き方に寄りやすいので、数字の裏を確かめる必要があると感じました。

実験3：判決本文の読み分け（役に立った）

そこで、規則では解きにくい問いに変えました。事件名ではなく、判決の本文（1件あたり約7,000字）をJevに渡して、次の4つを聞きます。

この事件は、特定の手続の類型にあたるか。
請求は、一部でも認められたか。
ある点（調査の信用性）が、争点として争われたか。
ある技術的な論点が、争点として議論されたか。

比べる相手として、正規表現とキーワードだけの規則も作りました。60件に正解を付けて、両方を採点した結果が、次のとおりです。

手続の類型：規則98％、Jev100％。
請求が認められたか：規則95％、Jev100％。
調査の信用性が争点か：規則88％、Jev95％。
技術的な論点が争点か：規則81％、Jev97％。

差が出た理由は、はっきりしています。

控訴審の結論。主文が「控訴を棄却する」だけだと、規則は、元の請求が認められたのかを読み取れない。Jevは、本文から読み取った。
「言葉は出てくるが、争点ではない」判決。ある用語が、仕組みの説明として出てくるだけの判決を、キーワードの規則は全部「争点」と誤った。Jevは、全部を低い点にして、正しく外した。
検索に紛れ込んだ無関係な事件。当事者の社名に検索語が含まれていただけの事件を、Jevは正しく外した。

速度は、判決1件（4つの問い）で0.7秒ほどでした。188件の全部にかけても、数分です。事件名が空欄だった26件も、本文を渡せば分類できました。

こういうことが、できそうです

公開判決を大量に集めて、「この論点が争われた判決だけ」「請求が退けられた判決だけ」を、数分で一次ふるい分けする。人は、ふるいに残った判決から読み始める。判例調査の最初の一歩を速くする使い方です。今回、188件で実際に争点別の一覧を作ってみて、調査の入口としては十分に使えると感じました（一覧そのものは公開しません）。

ただし、Jevが返すのは「該当しそうか」の確率だけです。判決の要約でも、評価でもありません。引用や主張に使う前に、人が全文を読むことが前提です。点数が中間の判決（どちらとも言えないもの）は、問いによっては1割前後ありました。ここは、人が読む必要があります。

割り引いて読んでほしい点

実験3の正解は、人ではなく、別のAI（Claude）が判決の全文を読んで付けた。「二つのAIの判断が一致した」とは言えるが、「どちらも正しい」ことの証明ではない。Jevが外した5件は、正解を付けた側も「迷った」と印を付けた件だった。
件数が少ない。60件の評価で、95％の信頼区間は、Jevが86〜99％、規則が70〜94％と、一部が重なっている。
比べた規則は、短時間で書いた単純なもの。作り込めば、規則の成績は上がる。ただし、「争点かどうか」を規則で解くのは、難しいままだと思う。
費用は、今回は測っていない。

つまずいたこと

APIキーの扱い。実験のたびに専用のキーを発行し、終わったら削除する運用にしました。その結果、削除済みのキーで次の実験を始めてしまい、128件が全部、認証エラーになりました。安全のための運用が、手戻りの原因にもなります。
提供元の混雑による失敗が、1件ありました。失敗した分だけ、後から再実行できる作りにしておくと、困りません。
判決のPDFには、見た目は同じでも別の文字（英字のoではなく、キリル文字のо）が混ざっているものがありました。キーワードの規則は、こういうところで静かに外れます。

守秘義務との関係

今回、外部のAIに送ったのは、架空の氏名と、裁判所が公開している判決文だけです。依頼者や事件に関する資料は、送っていません。実際の名簿や事件記録で同じことをする場合は、外部への提供にあたるかを、先に検討する必要があります。氏名の突き合わせのように、外部に送らない方法（対応表）で足りる作業は、そちらを選ぶのがよいと考えています。

次に試すこと

人が正解を付けた判決で、もう一度、採点する。
問いの文言を変えると、結果がどれくらい変わるかを見る。
判決以外の文書（契約書の条項の有無など）で、同じ使い方ができるか試す。

本記事は、特定のサービスの性能や安全性を評価・保証するものではなく、試用の記録です。法律相談・法的助言ではありません。サービスの仕様や料金は変更されることがあります。