AIの誤回答（ハルシネーション）を業務で防ぐには｜起きる前提で止める仕組み

AIに社内の規程について聞いたら、ありもしない条文を、もっともらしく答えてきた。数字の合計が合っていなかった。こうした経験から、「AIの答えは信用できない」と使うのをやめてしまう会社も少なくありません。

見積もりの合計を出しました。根拠の表も付けています

念のため、合計と単価の表を見比べておこう

根拠が付いていれば、人はすぐに確かめられます。

AIが事実と違う内容を、もっともらしく答えてしまうことを、ハルシネーションと呼びます。この記事では、業務で起きる誤りの種類と、誤りが業務に出る前に止める仕組みの作り方を説明します。

この記事のポイント

ハルシネーションは完全にはなくせないので、起きても業務に出る前に止まる仕組みを作る
根拠を示させる、分からないときは分からないと答えさせる、数字や形式は自動で照合する、の3つを組み合わせる
誤りの影響が大きい仕事ほど人の確認を厚くし、送信や決定は人が行う

ハルシネーションは、起きても止まる仕組みで防ぐ

AIの誤回答を、設定だけで完全になくすことは難しいのが実情です。そこで、誤りが起きる前提で、業務に出る前に止まる仕組みを作ることが大切です。

具体的には、AIに根拠を示させる、分からないときは分からないと答えさせる、数字や形式は自動で照合する、そして最後に人が確かめる、という関門を重ねます。関門を重ねておけば、1つで見落とした誤りも、次の関門で止められます。AIの誤りは、一度で社員の信頼を失い、使われなくなる原因にもなります。止める仕組みを最初から用意しておくことが、AIを長く使い続けるための近道です。

業務で起きる誤りの5つの種類

AIは、質問に対してもっともらしい文章を作るのが得意です。そのため、答えの材料がないときにも、それらしい答えを作ってしまうことがあります。社内の文書を材料に渡していても、その中に答えがなければ、同じことが起きます。

ひと口にハルシネーションといっても、業務で起きる誤りにはいくつかの種類があります。種類によって、止め方が変わります。

誤りの種類	例	主な止め方
ないことを作る	規程にない条文や、ない制度を答える	根拠の文書を示させる。見つからなければ「見つからない」と答えさせる
数字を間違える	合計や金額の桁が合わない	計算はプログラムで行い、出す前に自動で照合する
古い情報で答える	改定前の規程や単価で答える	読ませる文書の版をそろえ、古い版を外す
条件を取り違える	例外の条件を見落として答える	例外を判断のルールとして書き残し、当てはまるときは人に回す
書かれていないことを足す	会議で決まっていないことを、議事録に書き足す	決まっていないことは書かせない。「未確定」と明記させる

どの種類が起きやすいかは、仕事によって違います。規程への質問なら「ないことを作る」と「古い情報で答える」、見積もりなら「数字を間違える」と「条件を取り違える」が起きやすい、というように、自社の仕事で起きやすい種類を先に考えておくと、止め方を選びやすくなります。

3つ目の「古い情報で答える」は、AIに読ませる文書の整え方で防ぎます。文書の版や用語のそろえ方は、次の記事で詳しく説明しています。

誤りを止める5つの関門

誤りが業務に出る流れと、止まる流れ

誤りが業務に出る流れ

AIの答えを、そのまま使う
根拠がなくても、それらしく答える
お客さまに届いてから、間違いに気づく

誤りが止まる流れ

答えに、根拠の文書が付いている
分からないときは、担当者に回す
送る前に、人が根拠を見て確かめる

誤りを業務に出さないために、AIの答えが使われるまでの間に、次のような関門を重ねます。

誤りを止める5つの関門

根拠を示す答えのもとになった文書や記録を示し、元の記録に戻れるようにする
分からないと答える根拠が見つからないときは、推測で答えずに「分からない」と答え、担当者に回す
決まっていないことは書かない記録にないことは足さず、決まっていない点は「未確定」と書く
自動で照合する金額の桁、合計、必須の項目などを、出す前にプログラムで確かめる
人が確かめるAIが自信のないものや影響の大きいものを、人が確かめてから使う

1つ目の根拠を示す関門では、要約と元の記録を分けて残し、答えから元の記録に戻れるようにしておきます。イベント制作の会社へのご提案では、打ち合わせの録音から変更点を一覧にするときに、各行に「もとになった発言」を付け、決まらなかったことは反映しない形にしました。

分からないときに、分からないと答える例（説明例）

来月から、交通費の上限は変わりますか？

今の旅費規程の中には、来月からの変更は見つかりませんでした。改定の予定があるかどうかは、総務の担当者に確認を依頼しました。根拠：旅費規程（最新版）

規程に書かれていないことは、推測で答えずに担当者へ回します

上のやりとりは、仕組みを説明するための例です。

特定の会社の規程や、実際のAIの出力ではありません。

4つ目の自動の照合について、当社のセミナー「Claude Codeで、何ができるのか？」でも、金額の桁や必須の項目を出す前に自動で確かめる仕組みをお伝えしました。ただし、自動のチェックがあっても、人の最終確認はなくなりません。どこで人が確かめるかを、仕事の流れの中で決めておきます。

数字の誤りを防ぐには、そもそもAIに計算させない方法もあります。合計や単価の掛け算はプログラムが行い、AIは条件の読み取りや文章づくりを受け持つ、という分け方です。3つ目の「決まっていないことは書かない」では、記録にないものを勝手に消さないことも大切です。建設資材のレンタル会社へのご提案では、図面に手書きで書き込まれた内容をAIが解釈して消してしまわないよう、備考にそのまま残す形にしました。

誤りの影響が大きい仕事ほど、人の確認を厚くする

すべての答えを同じ重さで確かめていては、AIを使う意味が薄れます。誤りが起きたときの影響の大きさで、確認の重さを変えるのが現実的です。社内向けの下書きなら本人が根拠を見れば十分ですが、お客さまへの返信や金額の確定は担当者や責任者が確かめ、支払いやデータの削除はAIに任せない、という分け方です。

BtoBの営業組織へのご提案では、AIが出すすべての判定に根拠と「どのくらい自信があるか」を付け、自信の低いものだけを人が確かめる形にしました。広告の運用を自社で行う会社へのご提案でも、AIは根拠と足りない情報を付けて判断の候補を並べるだけで、実行はしない形にしています。あわせて、誤りが見つかったときに誰が直し、お客さまにどう伝えるかも、使い始める前に決めておきます。操作ごとの確認の分け方は、次の記事でまとめています。

詳しく解説した記事コラムAIエージェントとは？チャット型AIとの違いと、業務での使いどころAIエージェントは、目標を伝えると、手順を考えて道具を使い、仕事を最後まで進めるAIです。チャット型AIとの違い、業務で…

起きた誤りを、次の仕組みに生かす

誤りは、見つけて直して終わりにしないことが大切です。どの種類の誤りが多いかを記録しておくと、文書を直すのか、ルールを足すのか、確認を厚くするのか、打つ手が決まります。

誤りを減らしていく進め方

はじめ人の確認を多めにする使い始めは、AIの答えをできるだけ人が確かめてから使う
記録する誤りの種類を残す直した内容と、5つの種類のどれに当たるかを記録する
直す原因に手を打つ文書の版を直す、判断のルールを足す、照合の項目を増やす
広げる誤りの少ない仕事から確認を減らす実績を見て、誤りの少ない仕事から人の確認を軽くしていく

社員には、AIの答えを完成品として扱わず、根拠を見て確かめる下書きとして扱うよう伝えます。根拠を開いて確かめる習慣がつくと、誤りに早く気づけるようになり、AIの答えを安心して使える場面も増えていきます。

人が直した内容は、ルール帳に1行ずつ追加します。ただし、直した内容をすぐに全部の仕事で使うのではなく、承認した直後は「検証中」として扱います。ほかの場面でも問題がないことを人が確かめてから、使う範囲を広げます。こうしておくと、AIが勝手に間違いを覚えることもありません。

マスターブレインを活用した誤回答の防ぎ方

マスターブレインは、会社にあるさまざまな情報・業務知識・判断基準を整理し、必要な場面で活用できるように設計する、会社専用のAI基盤です。

答えには根拠にした文書や記録を示し、要約と元の記録を分けて残すので、人はすぐに確かめられます。根拠が見つからないときは推測で答えずに担当者へ回し、金額や必須の項目は出す前に自動で照合します。送信や決定は人が行い、人が直した内容はルール帳に残して、同じ誤りをくり返さないようにします。仕組みの全体像はマスターブレインの仕組みで紹介しています。

ここまで読んでいただき、ありがとうございます。