社内の資料をAIに読ませて、質問に答えさせる仕組み（RAG）を試してみた。ところが、改定前の古い内容で答えたり、表の数字を読み違えたり、聞いたことと少しずれた答えが返ってきたりする。これでは現場で使えない、と感じている担当者の方も多いと思います。
この手順で申請してください。根拠は手順書の第2版です
あれ、手順書はもう第4版になっているはず…
答えがずれる原因の多くは、AIそのものよりも、読ませている社内文書の側にあります。この記事では、RAGの回答精度が上がらない原因と、社内文書の整え方、精度の確かめ方を説明します。
この記事のポイント
- RAGの答えがずれる原因の多くは、古い版の混在、表や図、用語のゆれなど、読ませている文書の側にある
- 文書は「1つのまとまりに1つの話題」「表には見出し、図には説明文」「用語をそろえる」の形に整える
- 検証用の質問と正しい答えを用意し、文書を直すたびに同じ質問で答えを確かめる
RAGの精度が上がらないときは、まず文書を整える
RAGは、質問に合いそうな部分を社内の文書から探し、その内容をもとに答えます。探す元の文書に古い版が混ざっていたり、表や図が読み取れなかったりすると、AIはずれた内容をもとに答えてしまいます。
精度を上げたいときは、AIの設定を変える前に、文書を整えます。当社では「AIの差は、モデルの差より材料の差」とお伝えしています。文書を整えて、同じ質問で答えを確かめる。これをくり返すと、精度は少しずつ上がっていきます。
文書の状態で答えが変わる理由
RAGは、質問のたびに文書を最初から最後まで読むわけではありません。文書をあらかじめ小さなまとまりに分けておき、質問に近いまとまりだけを取り出して、AIに渡しています。
RAGが文書を使うときの流れ
- 分けておく文書を、段落や見出しごとの小さなまとまりに分けて保存する
- 近いものを探す質問に近いまとまりを、いくつか選び出す
- 一部だけ渡す選んだまとまりだけを、答えの材料としてAIに渡す
- 答える渡された材料の範囲で、AIが答えを作る
つまり、AIが答えに使えるのは、選び出された一部分だけです。例外の条件が別のまとまりに書いてあれば、AIはその例外を知らないまま答えます。表が崩れて行と列の対応が分からなくなっていれば、数字を読み違えます。仕組みの基本は、次の記事で説明しています。
詳しく解説した記事コラムRAGとは？社内の資料をもとにAIに答えさせる仕組みをわかりやすく解説RAG（検索拡張生成）は、AIが答える前に社内の資料から関係する部分を探し、その内容をもとに答える仕組みです。普通のAI…RAGの精度が上がらない6つの原因
答えがずれるときは、次の6つのどれかに当てはまることがほとんどです。
| 原因 | 起きること | よくある例 |
|---|---|---|
| 古い版や重複が混ざっている | 改定前の内容で答える | 同じ手順書の第2版と第4版が、両方とも読み込まれている |
| 表が崩れている | 行と列の対応がずれ、数字を読み違える | 料金表を画像にしたPDF、セルの結合が多いExcel |
| 図・画像・手書き | 中身が読み取れず、探す対象にならない | スキャンした紙の規程、図面、写真の中の文字 |
| 用語がそろっていない | 同じものを別の言葉で書いていて、探しても見つからない | 「見積」「御見積」「概算」、部署ごとの略語 |
| 1つの文書に話題が混ざっている | 関係のない部分が一緒に取り出される | 何年分もの連絡事項を、1つのファイルに書き足している |
| 前提や例外が離れた場所にある | 例外を知らずに答える | 「詳しくは別紙」「上記の場合を除く」とだけ書いてある |
中でも見落としやすいのが、図や画像です。建設資材のレンタル会社とのご相談では、FAXで届く図面の縮尺がずれていて、担当者が毎回計算し直していました。ご提案では、AIが図面の寸法線から縮尺を計算し直し、手書きの書き込みは消さずに備考として残す形にしました。図や手書きは、そのまま読ませても使えるとは限らないので、読み取り方を別に決めておく必要があります。
社内文書を整える4つのやり方
6つの原因に対して、文書の整え方は大きく4つにまとめられます。すべての文書を一度に直す必要はありません。答えがずれた質問に関係する文書から直していきます。
社内文書を整える4つのやり方
- 版をそろえる正式な版だけを残し、古い版や下書きは読ませない
- 表と図を読める形にする表は文字の表にして見出しを付ける。図には何の図かを説明する文を添える
- 用語をそろえる社内の言い方のゆれを用語集にまとめ、文書の言葉を統一する
- 1つのまとまりに1つの話題見出しで区切り、前提や例外は同じ見出しの中に書く
たとえば、規程や手順書は次のように書き直します。
整える前の文書と、整えた後の文書（説明例）
- 見出しがなく、何年分もの変更を下に書き足している
- 「上記の場合を除く」「詳しくは別紙」とだけ書いてある
- 料金表が画像で貼り付けてある
- 部署によって同じものの呼び方が違う
- 見出しごとに1つの話題にし、古い内容は外す
- 例外の条件を、同じ段落の中に書く
- 料金表は文字の表にし、列に見出しを付ける
- 用語集の言葉にそろえる
用語集は、正式な言葉と、社内で実際に使われている言い方を並べるだけで十分です。言い方のゆれをAIが知っていれば、社員がどの言葉で聞いても、同じ文書を探し出せます。
| 正式な言葉 | 社内で使われている言い方 | どの文書で使うか |
|---|---|---|
| 見積書 | 見積、御見積、概算 | 営業の手順書、見積のルール |
| 年次有給休暇 | 有給、年休、有休 | 就業規則、休暇の申請手順 |
| 出荷指示書 | 出荷票、指示書 | 出荷の手順書 |
特定のお客さまの用語や文書ではありません。
なお、要約した文書だけを読ませると、細かい条件が抜け落ちることがあります。当社では、要約と元の文書を分けて残し、答えの根拠として元の文書をたどれる形にしています。
精度は、検証用の質問で確かめる
文書を整えた効果は、決まった質問への答えで確かめます。質問と正しい答えの組を先に用意しておき、文書を直すたびに同じ質問で採点します。こうすると、どの直し方が効いたのかが分かります。
検証用の質問で精度を上げていく流れ
- 準備質問と正しい答えを集める過去の問い合わせや、よく聞かれる質問から、正しい答えが分かっているものを選ぶ
- 採点AIに答えさせて採点する正しい答えと比べ、合っているか、根拠の文書が正しいかを確かめる
- 原因探し間違えた質問の原因を探す6つの原因のどれに当てはまるかを、根拠に出た文書から探す
- 直す文書を直して、もう一度採点する直した後は、同じ質問で前回と比べる
- 使い始め目安を超えたら現場で使う目安に届いたら、承認を多めにして現場で使い始める
当社が構築した地域医師会のチャットボットでは、業務フロー資料157ファイルを構造化して読ませ、検証した208問すべてに正しく回答できることを確かめました。通販の会社へのご提案でも、過去の問い合わせを使った採点に加えて、見せてはいけない資料が答えに出てこないかを確かめる試験を組んでいます。
最初から完璧な精度を約束する必要はありません。住宅・不動産の会社へのご提案では、1か月目に過去の報告書をもとに試作し、2か月目に実際の報告書をAIの下書きで作りながら精度を上げる計画にしました。当社のセミナー「Claude Codeで、何ができるのか？」でも、自動のチェックがあっても人の最終確認はなくならず、どこで人が確認するかを決めておくことが大事だとお伝えしました。
整えた文書を、古くしない
文書は一度整えても、規程の改定や新しい手順の追加で、また崩れていきます。文書ごとに管理する人を決め、変わったときに誰が差し替えるかを決めておきます。
AIの答えを人が直したときは、その内容をルール帳に1行ずつ残します。同じ質問が次に来たとき、直した内容をもとに答えられるようになり、同じことを二度直さずに済みます。どの文書を、誰が管理するかの決め方は、次の記事でまとめています。
あわせて読みたいコラム社内ナレッジをAIで活用するには？始める前にやっておく資料の整理社内ナレッジをAIで活用するときは、全部の資料をそろえてから始める必要はありません。最初の仕事に使う資料だけを選び、最新…また、文書に書かれていない判断（ベテランがその場で決めていること）は、文書をいくら整えても答えられません。判断の理由を聞き取ってルールとして書き残す方法は、属人化の記事で説明しています。
あわせて読みたいコラム属人化をAIで解消するには？ベテランの判断を会社に残す手順「あの人に聞かないと分からない」仕事をAIで減らすには、ベテランが判断した理由を記録して、AIが使えるようにすることが必…マスターブレインを活用したRAGの精度づくり
マスターブレインは、会社にあるさまざまな情報・業務知識・判断基準を整理し、必要な場面で活用できるように設計する、会社専用のAI基盤です。
集めた文書は、版と管理する人を決めて整理し、要約と元の文書を分けて残します。表や図、用語のゆれも、業務に合わせて読み取り方を決めます。検証用の質問で精度を確かめてから現場で使い始め、人が直した内容は「ルール帳」に追加していくので、使いながら答えが会社のやり方に近づきます。仕組みの全体像はマスターブレインの仕組みで紹介しています。
ここまで読んでいただき、ありがとうございます。
その社内AI、どの文書から整えますか？
マスターブレインは、会社の資料・記録・担当者の判断基準を整理し、業務ごとの専用画面から使える会社専用のAI基盤です。まずは資料で全体像をつかむか、御社の業務で相談するかをお選びください。
- 仕組みと、5つの層の役割
- 業務別の活用例と構築実績
- 導入の進め方と、費用の決まり方
- 説明より先に、動くデモをお見せします
- 資料が整理されていなくても大丈夫です
- 2営業日以内に担当者からご連絡します
これまでの構築実績から
- 100%検証208問の正答率地域医師会のチャットボット
- 約1/10書類作成時間訪問介護・障害福祉の事業者
- 35分→3分図面から見積まで建設資材のレンタル
この記事の監修者
AIを活用したシステム開発・業務自動化の専門家。システム開発に10年携わり、GPT-3.5の頃から生成AIを実際の業務に取り入れてきた。基幹システムの刷新から業界に特化したAIサービスまで、本番で動くシステムを設計・構築している。
- AIで業務を効率化し、社員20人で10個以上のサービスを運営
- 教育の流れをAIで自動化し、未経験の5人を3か月で開発者として戦力化
主な登壇
- 製造業の「見えない製造ライン」をカイゼンする2026年9月
- AIに「会社の脳」を持たせるには？2026年8月
- Claude Codeで組織はどう変わる？AI時代の組織設計2026年7月
- 第21回 CONVERSION SUMMITに登壇2026年6月
執筆：ジャパンソリューションズ 編集部｜運営会社について ↗
