16-02 分類・異常検知の評価
受講者用本文・演習・解答・講師メモ／作成日 2026年10月6日
対象：分析担当・エンジニア
前提：Python・統計の基礎、06分野相当
標準時間：180分（休憩別。解説、演習、レビューを含む）
成果物：閾値比較と採用理由
学習項目：不均衡／適合率／再現率／誤判定の費用

1. 解説本文
分類の正答率だけでは、少ない異常を見逃すモデルを見抜けない場合があります。適合率は異常と判定した中で実際に異常だった割合、再現率は実際の異常のうち検出できた割合です。

閾値を変えると見逃しと誤検知のバランスが変わります。業務上の負担や影響を考え、どちらをどの程度許容するかを決めます。指標が高いことと費用が低いことを区別します。

2. 失敗しやすい点
分母がゼロになるケースの扱いを、実装で無視しないこと。

3. 配布資料（架空のケース）
架空100件中、不良10件。判定Aは真陽性8、偽陽性12、偽陰性2、真陰性78。判定Bは真陽性6、偽陽性3、偽陰性4、真陰性87。
追加素材：ml_lab.py

4. 演習課題
適合率・再現率・正答率を求め、見逃し1件100単位、誤検知1件5単位の費用を比較してください。
実施手順：
1. 最初は模範解答を閉じ、配布資料だけを読んで「確定していること」「分からないこと」を書き分けます。
2. 演習課題に対する自分の案を作ります。計算課題は小さな値を手計算し、設計課題は正常時と例外時の流れを描きます。
3. 承認されたAI環境がある場合は、下の入力例をそのまま使い、結果を保存します。ない場合も配布資料と例題で判断を練習できます。
4. 次の点を重点確認します。「分母がゼロになるケースの扱いを、実装で無視しないこと。」元資料と照合し、誤り・未確認・改善点を区別します。
5. 相互レビュー後に修正し、模範解答と比較します。模範解答と表現が違っても、根拠と条件が一致していれば採用できます。
6. 発展演習では、資料の数値・期限・権限・例外のうち一つを意図的に変更し、どの部分の答えが変わるかを予測して再実行します。変更条件は元資料とは別に記録します。

5. そのまま使える入力例
目的：分類・異常検知の評価の演習を行います。
使用資料：
架空100件中、不良10件。判定Aは真陽性8、偽陽性12、偽陰性2、真陰性78。判定Bは真陽性6、偽陽性3、偽陰性4、真陰性87。

依頼：適合率・再現率・正答率を求め、見逃し1件100単位、誤検知1件5単位の費用を比較してください。
条件：資料の事実と仮説を区別してください。資料にない数値・規則・実績を事実として追加しないでください。不明な点は未確認とし、確認先または確認方法を示してください。
出力：成果物案、その根拠、未確認事項、採用前の点検項目に分けてください。
評価の重点：見逃しと誤検知の両方を示す。


6. 記入用ワークシート
講座ID：16-02　受講者：　　　　　　　実施日：
1. 今回の目的を一文で：
2. 資料で確定している事実（3点以上）：
3. 資料では分からないこと：
4. 自分が最初に考えた回答・設計：
5. 入力した指示と出力、または机上検討の結果：
6. 点検した結果・計算式・根拠箇所：
7. 修正した内容とその理由：
8. 最終成果物：閾値比較と採用理由
9. 残った疑問と確認担当：
10. 作業　　分／確認　　分／修正　　分：
11. 自分の業務で試す範囲と確認日：


7. 模範解答・考え方（演習後に確認）
Aは40%、80%、86%、費用260。Bは約66.7%、60%、93%、費用415。正答率が高いBでもこの費用設定では不利です。採用は費用設定や現場の処理能力も確認して判断します。
解答を見る際の注意：分母がゼロになるケースの扱いを、実装で無視しないこと。
文章の一致ではなく、根拠・条件・判断が一致しているかを確認します。

8. 理解確認問題
問1：正答率93%のBが必ず優れていますか。
答え：いいえ。見逃しの影響や費用を含めるとAが望ましい場合があります。
問2：この演習の回答を採用する前に、一番注意して確認する点は何ですか。
答え：分母がゼロになるケースの扱いを、実装で無視しないこと。
問3：本講座の成果物で満たすべき条件を自分の言葉で説明してください。
判定基準：見逃しと誤検知の両方を示す。条件だけを暗記せず、自分の成果物の該当箇所を示せれば到達です。

9. 講師用の進行
目的・前提を確認：15分
解説本文と例題：35分
講師実演：25分
演習・例外の追加：75分
相互レビュー：20分
確認問題と振り返り：10分
指導の重点：混同行列の四つの意味を言葉で説明させる。
開始時の問い：「正答率93%のBが必ず優れていますか。」への仮回答を先に書かせ、最後に理由が変わったか確認します。
実演：配布資料を示す→初稿を作る→「分母がゼロになるケースの扱いを、実装で無視しないこと。」を点検する→修正する、の順で見せます。
相互レビュー：原資料に戻って説明できるか、未確認を埋めていないか、合格条件を満たすかを確かめます。
固有の到達基準：見逃しと誤検知の両方を示す。
採点：目的適合・根拠確認・安全性・再現性・業務への適用を各0〜4点。合計14点以上、根拠確認と安全性は各3点以上を修了の目安とします。
0＝欠落または重大な誤り、1＝大幅な支援が必要、2＝一部修正が必要、3＝自立して満たす、4＝例外も検証し説明できる。
未達時：誤った箇所を本人に特定してもらい、資料の一条件を変更した別例で再提出してもらいます。
時間が余る場合：例外条件を追加し、別の受講者が手順を再現する試験を行います。
時間が不足する場合：発展演習を宿題へ回し、原資料との照合と確認問題は省略しません。
操作環境なしで受講した場合：知識・設計の到達と実操作の到達を区別して記録します。
持ち帰り：1週間以内に承認された一業務へ試用。作業・確認・修正時間と誤りを記録し、翌週に振り返ります。


10. 参考・出典
分類指標の定義の参考
scikit-learn: Metrics and scoring
https://scikit-learn.org/stable/modules/model_evaluation.html
参考資料の確認日：2026年10月6日。資料は概念の確認用です。演習の数値・ケースは出典資料の実績ではありません。