13-04 検索・回答品質の評価
受講者用本文・演習・解答・講師メモ／作成日 2026年10月6日
対象：情報システム・ナレッジ管理・推進担当
前提：03分野相当とファイル権限の基本
標準時間：120分（休憩別。解説、演習、レビューを含む）
成果物：評価表と改善案
学習項目：正解集合／検索漏れ／引用整合／権限

1. 解説本文
回答品質は、必要な文書が検索できたかと、得た文書を正しく使って回答したかに分けて評価します。全体の正答率だけでは、検索改善と指示改善のどちらが必要か判断できません。

質問セットには答えがあるもの、ないもの、権限外を含めます。基準となる根拠IDと期待する扱いを人が先に作り、出力を見て正解を書き換えないようにします。

2. 失敗しやすい点
未回答すべき問をすべて誤答と数えないこと。

3. 配布資料（架空のケース）
架空5問の結果：Q1正しい根拠・正答、Q2必要根拠なし・誤答、Q3正しい根拠・条件を落として誤答、Q4資料なし・未回答、Q5権限外・拒否。
追加素材：faq_demo.py、社内FAQ.txt

4. 演習課題
5件を分類し、優先する改善を決めてください。
実施手順：
1. 最初は模範解答を閉じ、配布資料だけを読んで「確定していること」「分からないこと」を書き分けます。
2. 演習課題に対する自分の案を作ります。計算課題は小さな値を手計算し、設計課題は正常時と例外時の流れを描きます。
3. 承認されたAI環境がある場合は、下の入力例をそのまま使い、結果を保存します。ない場合も配布資料と例題で判断を練習できます。
4. 次の点を重点確認します。「未回答すべき問をすべて誤答と数えないこと。」元資料と照合し、誤り・未確認・改善点を区別します。
5. 相互レビュー後に修正し、模範解答と比較します。模範解答と表現が違っても、根拠と条件が一致していれば採用できます。
6. 発展演習では、資料の数値・期限・権限・例外のうち一つを意図的に変更し、どの部分の答えが変わるかを予測して再実行します。変更条件は元資料とは別に記録します。

5. そのまま使える入力例
目的：検索・回答品質の評価の演習を行います。
使用資料：
架空5問の結果：Q1正しい根拠・正答、Q2必要根拠なし・誤答、Q3正しい根拠・条件を落として誤答、Q4資料なし・未回答、Q5権限外・拒否。

依頼：5件を分類し、優先する改善を決めてください。
条件：資料の事実と仮説を区別してください。資料にない数値・規則・実績を事実として追加しないでください。不明な点は未確認とし、確認先または確認方法を示してください。
出力：成果物案、その根拠、未確認事項、採用前の点検項目に分けてください。
評価の重点：誤検索と生成時の誤りを分けて集計できる。


6. 記入用ワークシート
講座ID：13-04　受講者：　　　　　　　実施日：
1. 今回の目的を一文で：
2. 資料で確定している事実（3点以上）：
3. 資料では分からないこと：
4. 自分が最初に考えた回答・設計：
5. 入力した指示と出力、または机上検討の結果：
6. 点検した結果・計算式・根拠箇所：
7. 修正した内容とその理由：
8. 最終成果物：評価表と改善案
9. 残った疑問と確認担当：
10. 作業　　分／確認　　分／修正　　分：
11. 自分の業務で試す範囲と確認日：


7. 模範解答・考え方（演習後に確認）
期待する扱いができたのはQ1・Q4・Q5の3/5。回答可能なQ1〜Q3に限ると正答1/3。Q2は検索、Q3は回答生成・条件保持を改善。分母を明記し、権限漏れがあれば最優先で直します。
解答を見る際の注意：未回答すべき問をすべて誤答と数えないこと。
文章の一致ではなく、根拠・条件・判断が一致しているかを確認します。

8. 理解確認問題
問1：Q3へ文書を追加するだけで必ず改善しますか。
答え：必要な文書はあるため、回答時の条件保持や検証を見直します。
問2：この演習の回答を採用する前に、一番注意して確認する点は何ですか。
答え：未回答すべき問をすべて誤答と数えないこと。
問3：本講座の成果物で満たすべき条件を自分の言葉で説明してください。
判定基準：誤検索と生成時の誤りを分けて集計できる。条件だけを暗記せず、自分の成果物の該当箇所を示せれば到達です。

9. 講師用の進行
目的と業務の接点：10分
解説本文と例題：25分
講師実演：15分
演習と修正：45分
相互レビュー：15分
確認問題と振り返り：10分
指導の重点：誤りを工程ごとに分類する表を作らせる。
開始時の問い：「Q3へ文書を追加するだけで必ず改善しますか。」への仮回答を先に書かせ、最後に理由が変わったか確認します。
実演：配布資料を示す→初稿を作る→「未回答すべき問をすべて誤答と数えないこと。」を点検する→修正する、の順で見せます。
相互レビュー：原資料に戻って説明できるか、未確認を埋めていないか、合格条件を満たすかを確かめます。
固有の到達基準：誤検索と生成時の誤りを分けて集計できる。
採点：目的適合・根拠確認・安全性・再現性・業務への適用を各0〜4点。合計14点以上、根拠確認と安全性は各3点以上を修了の目安とします。
0＝欠落または重大な誤り、1＝大幅な支援が必要、2＝一部修正が必要、3＝自立して満たす、4＝例外も検証し説明できる。
未達時：誤った箇所を本人に特定してもらい、資料の一条件を変更した別例で再提出してもらいます。
時間が余る場合：例外条件を追加し、別の受講者が手順を再現する試験を行います。
時間が不足する場合：発展演習を宿題へ回し、原資料との照合と確認問題は省略しません。
操作環境なしで受講した場合：知識・設計の到達と実操作の到達を区別して記録します。
持ち帰り：1週間以内に承認された一業務へ試用。作業・確認・修正時間と誤りを記録し、翌週に振り返ります。


10. 参考・出典
検索と生成を分けた設計・評価の参考
Microsoft Learn: RAG solution design and evaluation
https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-solution-design-and-evaluation-guide
参考資料の確認日：2026年10月6日。資料は概念の確認用です。演習の数値・ケースは出典資料の実績ではありません。