2026.09.19AI Practice

Jevを使ってみた：同姓同名チェックで分かった、判定AIへの質問の作り方

試用の途中経過です。名前はすべて架空のものです。Jevの特徴のうち、紹介動画の要約に基づく部分は、私自身は確認していません。

文章を書くAIではなく、「選ぶ」ことだけをするAIがあります。Jev（Typesafe AI）です。法律事務所の事務作業には、書く仕事より、選ぶ・振り分ける仕事の方が多いかもしれません。そこで、身近な題材として、同姓同名のチェックを試しました。

Jevとは

Jevは、あらかじめ用意した選択肢の中から答えを選び、その確信度（何％か）を返すAIです。文章は生成しません。紹介動画の要約によると、マークシートのように選ぶだけなので応答が非常に速く、文章の生成はClaudeなどに任せ、判断や分類はJevに任せる、という分業が提唱されています。

入力は「安田太郎」という名前1件です。質問は「同姓同名を探して下さい」とし、選択肢を4つ用意しました。

この中に、同姓同名の人はいません。したがって、正しい答えは「該当なし」です。

Jevの答えは「安田太郎助」で、その選択肢に87％、次点の「吉田太郎」に13％、「吉田三郎」に0％が割り振られ、全体の確信度は83％と表示されました。応答時間の表示は81msと151msで、体感でも一瞬でした。

最も似ている名前を選んだという意味では、筋の通った答えです。しかし、同姓同名のチェックとしては誤りです。「安田太郎」と「安田太郎助」は別人の名前だからです。

最初は「日本語がまだ苦手なのだろう」という印象を持ちました。しかし見直すと、問題の多くは私の質問の作り方にありました。

「該当なし」の選択肢を用意していなかった。選択式のAIは、用意された中から必ずどれかを選びます。正解が選択肢にない質問では、誤答しか返せません。
「同姓同名を探して下さい」という指示が曖昧だった。「完全に一致するものだけを選ぶ」と書いていないので、「最も近いものを選ぶ」と解釈されても不思議ではありません。
入力の「安田太郎」には姓と名の間にスペースがあり、選択肢にはなかった。表記の揺れが判定に影響したかどうかは、今回の試し方では切り分けられません。

日本語の扱いが実際に苦手なのかどうかは、この1回では分かりません。ローマ字に直してから判定させると改善するかもしれないので、次に比べてみます。

今回いちばんの収穫は、正解のない質問にも、83％という高い確信度が返ってきたことです。確信度は、用意された選択肢の中での相対的な確からしさであって、答えが正しいことの保証ではありません。判定AIを事務作業に組み込むなら、次の2点は最初から設計に入れる必要があります。

同姓同名のチェックは、利益相反の確認や、名寄せに関係する作業です。候補を速く絞り込む道具としては、使える余地がありそうです。一方で、「安田太郎」と「安田太郎助」を同じと判定するようでは、最終判断は任せられません。見落としも、取り違えも、どちらも許されない作業だからです。

また、依頼者や相手方の実名を外部のサービスに入力することは、守秘義務の観点から、慎重な判断が必要です。今回は、架空の名前だけで試しています。

Jevは、CloudflareかVercelを経由すると使えます。設定の手順は、あらためてノートに記録します。

本記事は、特定のサービスの性能や安全性を評価・保証するものではなく、1回の試用の記録です。サービスの仕様や料金は変更されることがあります。