AIのPoC（検証）の進め方｜正解のあるデータで小さく試して判断する

AIを試しに使ってみたものの、「良さそうだった」という感想だけが残り、本番に進めてよいのか決められない。試す期間が延びるうちに、関わった人の熱も冷めていく。AIの導入を任された担当者から、ご相談の中でこうしたお悩みをよく伺います。

試した結果、本番に進めていいか決めてもらえますか？

それで、何件試して何件合ってたの？

試した結果を数字で示せないと、進むかどうかを決められません。

決められない原因の多くは、試す前に「どんな結果なら合格か」を決めていないことです。この記事では、AIのPoC（ピーオーシー。本格的に作る前に、実際のデータで小さく試し、仕事に使えるかを確かめること）の進め方を説明します。正解のある案件の選び方、採点と直す時間の記録のしかた、進む・直して進む・止めるの決め方を順に見ていきます。

この記事のポイント

AIのPoCは、正解が分かっている過去の案件で試し、AIの結果を正解と比べて採点する
試す案件には、標準的な案件に加えて、例外の案件と情報が足りない案件も混ぜる
正解と合った割合と、人が直すのにかかった時間を記録し、進む・直して進む・止めるのどれにするかを決める

AIのPoCは、正解のある案件で採点して判断する

AIのPoCでは、正しい答えが分かっている過去の案件をAIに処理させ、結果を正解と比べて採点します。試す前に、どの仕事の何を確かめるか、どんな結果なら次に進むかを決めておきます。

記録するのは、正解と合った割合と、AIの結果を人が直して使える形にするまでの時間です。この2つの数字がそろうと、進む・直して進む・止めるの3つから、根拠を持って選べます。感想だけで決めないことが、PoCを長引かせないいちばんの方法です。

PoCを始める前に決める3つのこと

PoCを始める前に、次の3つを、結果を見て判断する人と一緒に決めておきます。後から決めようとすると、結果を見た人ごとに合格の基準が変わってしまいます。

決めること	内容	例（図面から数量を拾う仕事の場合）
対象の仕事	いちばん時間がかかっている仕事を1つに絞る	図面から商品の数量を拾い、見積もりの形にする仕事
確かめる項目	何が合っていれば使えるとするか	数量と長さが正解と合っているか、人が直すのにどれだけ時間がかかるか
判断の目安	どんな結果なら進む・直して進む・止めるか	担当者が確かめるだけで使える案件が、決めた割合を超えたら進む

表の例は、考え方を説明するための例です。

判断の目安にする割合や時間は、仕事の内容に合わせて、お客さまと一緒に決めます。

対象には、判断の基準を言葉で説明できる仕事を選びます。当社のセミナー「Claude Codeで、何ができるのか？」でも、判断の基準があいまいな仕事や、例外が多すぎる仕事は、AIに任せにくいとお伝えしました。最初の仕事で効果を数字で確かめてから次の仕事に広げるのが、当社の進め方です。

試す案件は、標準・例外・情報不足の3種類をそろえる

試す案件は、過去に人が処理して、正しい答えが分かっているものから選びます。標準的な案件だけで試すと、本番で例外の案件が来たときにどうなるかが分かりません。次の3種類をそろえて試します。

試す案件の3つの種類（図面から数量を拾う仕事の例）

標準の案件いつもの書式で、条件もそろっている図面。AIが正しく数量を出せるかを確かめる
例外の案件縮尺がずれている図面や、手書きの書き込みがある図面。いつもと違う扱いに気づけるかを確かめる
情報が足りない案件寸法の一部が読めない図面。推測で埋めずに、足りない情報を挙げられるかを確かめる

建設資材のレンタル会社へのご提案では、お客さまの実際の図面と正解の数量を並べて、精度を確かめる検証を最初に置きました。FAXで届く図面は縮尺がずれることがあり、そのまま数量を出すと材料が足りなくなります。金額に直結する間違いを試す段階で見つけられるかが、検証の大事な点でした。

情報が足りない案件では、AIが推測で答えを出さずに、人に戻せるかを見ます。次のように、足りない情報を挙げて止まれば合格です。

寸法の一部が読めない図面への応答（説明例）

この図面から、必要な数量を出してください。

南側の壁の寸法が読み取れないため、外周の長さは出していません。読み取れた部分の数量だけを下書きにしました。確認が必要な項目：南側の壁の寸法／2階部分の有無

足りない情報は、担当者がお客さまに確かめてから入れ直します

社内の情報を扱う仕事では、見せてはいけない情報が答えに出てこないかも試します。通販の会社へのご提案では、機密の区分を付けた情報が、見てよい人以外への答えに使われないことを確かめる試験も組みました。

採点と、直す時間を1件ずつ記録する

試した結果は、1件ずつ表に記録します。正解と合ったかどうかに加えて、人が直すのにかかった時間も記録するのがポイントです。少し直せば使える結果と、ほとんど作り直しになる結果は、同じ「正解と違う」でも意味が違うからです。

記録する項目	書く内容	記録する理由
案件の種類	標準・例外・情報不足のどれか	種類ごとに、AIが得意か苦手かが分かる
正解との比較	合っている・一部違う・違う	正解と合った割合を出す
直した時間	AIの結果を使える形にするまでの時間	正解と違っても、直せば使えるかが分かる
直した理由	縮尺の読み違い、例外の見落としなど	次に足すルールやデータが分かる
このまま使えるか	現場の担当者の判断	本番で使われるかどうかの目安になる

記録がそろったら、人がAIを使わずに処理したときの時間と比べます。正解と合った割合が高くても、直す時間が長ければ、本番で時間は減りません。

ご提案の中でも、検証の終わりには、お客さまの実際の数字をお返しする形にしています。作成にかかる時間や、現場が「このまま使える」とした割合などです。

当社が構築した地域医師会（関西・会員約440名）のチャットボットでは、業務フロー資料157ファイルを構造化し、LINEで答える仕組みにしました。検証した208問には、すべて正しく回答できました。社内の文書をもとに答えるAIで、検証用の質問を作って採点する流れは、次の記事で詳しく説明しています。

詳しく解説した記事コラムRAGの回答精度が上がらない原因は？社内文書の整え方と確かめ方RAGの答えがずれる原因の多くは、読ませている社内文書の側にあります。古い版の混在、表や図、用語のゆれなど6つの原因と、…

進む・直して進む・止めるを決める

記録がそろったら、正解と合った割合と、直す時間の2つで結果を見ます。2つを組み合わせると、次にすることが決まります。

PoCの結果から決める次の一手

正解と合う割合が高い ↑

進む合っていて、直す時間も短い。現場の一部で、本番の案件に毎日使ってみる
直して進む（出力の形）合ってはいるが、使える形にするのに手間がかかる。出力の書式や画面を直す
直して進む（ルールとデータ）間違いは多いが、すぐ直せる。直した理由をルールに足して、もう一度採点する
止める・範囲を見直す間違いが多く、直すのにも時間がかかる。対象の仕事か、使うデータを選び直す

直す時間が長い →

建設資材のレンタル会社へのご提案では、検証の結果を見て、進む・直して進む・止めるのどれにするかを、お客さまが決める形にしました。止めることも、選べる結果の1つとして最初から用意しておきます。止める判断ができれば、効果の出ない仕事に費用をかけ続けずに済みます。

正解と比べにくい仕事では、使う人が納得したかどうかも判断の材料にします。営業の記録を自動でまとめる仕組みのご提案では、検証の途中で一度、続けるかどうかを決める場を設けました。見る数字は2つです。1つは、社名の書き方が違うだけの同じ会社の記録を、正しく1社にまとめられた割合です。もう1つは、AIが「しばらく連絡していないので、もう一度連絡するとよい」と挙げたお客さまのうち、営業担当者が「確かにそうだ」と納得した割合です。