COURSE OVERVIEW
講座の目的と修了基準
架空データで分類モデルと単純な基準を比較する
対象と前提分析担当・エンジニア
Python・統計の基礎、06分野相当
成果物と到達基準分析ノートと比較表
データ漏洩を避けテスト結果を分けて示す
SECTION 01
1. 解説本文
教師あり学習では、入力となる特徴量と正解となる目的変数を用意します。モデル作成に使うデータと、最後に評価するデータを分けます。結果を見ながら調整したデータは、未知のデータとしての最終評価には使えません。
欠損補完や標準化などの基準も、学習側で決めて評価側へ適用します。予測時に入手できない列を含めないことも重要です。まず単純な基準と比較し、複雑化の価値を確かめます。
失敗しやすい点
評価データを見て閾値を選び直した結果を、最終評価として報告しないこと。
SECTION 02
2. 配布資料
以下は研修用の架空ケースです。この内容だけで演習を始められます。
添付ml_lab.pyでは架空センサー値xと不良ラベルyを使い、学習データから1変数の閾値分類器を選びます。評価用は別の4件で、学習には使いません。
追加の演習素材
Python教材の実行方法は演習素材フォルダの「使い方.txt」を参照してください。
SECTION 03
3. 実践演習
学習で閾値を選び、全件正常と予測する基準と評価データ上で比較してください。
- 最初は模範解答を閉じ、配布資料だけを読んで「確定していること」「分からないこと」を書き分けます。
- 演習課題に対する自分の案を作ります。計算課題は小さな値を手計算し、設計課題は正常時と例外時の流れを描きます。
- 承認されたAI環境がある場合は、下の入力例をそのまま使い、結果を保存します。ない場合も配布資料と例題で判断を練習できます。
- 次の点を重点確認します。「評価データを見て閾値を選び直した結果を、最終評価として報告しないこと。」元資料と照合し、誤り・未確認・改善点を区別します。
- 相互レビュー後に修正し、模範解答と比較します。模範解答と表現が違っても、根拠と条件が一致していれば採用できます。
- 発展演習では、資料の数値・期限・権限・例外のうち一つを意図的に変更し、どの部分の答えが変わるかを予測して再実行します。変更条件は元資料とは別に記録します。
そのまま使える入力例
目的：教師あり学習の入門の演習を行います。
使用資料：
添付ml_lab.pyでは架空センサー値xと不良ラベルyを使い、学習データから1変数の閾値分類器を選びます。評価用は別の4件で、学習には使いません。
依頼：学習で閾値を選び、全件正常と予測する基準と評価データ上で比較してください。
条件：資料の事実と仮説を区別してください。資料にない数値・規則・実績を事実として追加しないでください。不明な点は未確認とし、確認先または確認方法を示してください。
出力：成果物案、その根拠、未確認事項、採用前の点検項目に分けてください。
評価の重点：データ漏洩を避けテスト結果を分けて示す。
記入用ワークシート
講座ID：16-01 受講者： 実施日：
1. 今回の目的を一文で：
2. 資料で確定している事実（3点以上）：
3. 資料では分からないこと：
4. 自分が最初に考えた回答・設計：
5. 入力した指示と出力、または机上検討の結果：
6. 点検した結果・計算式・根拠箇所：
7. 修正した内容とその理由：
8. 最終成果物：分析ノートと比較表
9. 残った疑問と確認担当：
10. 作業 分／確認 分／修正 分：
11. 自分の業務で試す範囲と確認日：
到達基準：データ漏洩を避けテスト結果を分けて示す
SECTION 04
4. 模範解答と理解確認
演習の模範解答・考え方を開く
学習側で選んだ閾値を固定して評価します。添付例では閾値3.5、評価正答3/4。全件正常も3/4です。正答率は同じでも不良の見逃しが違うため混同行列を確認します。4件の結果で実用性能を証明はできません。
評価データを見て閾値を選び直した結果を、最終評価として報告しないこと。
表現の一致ではなく、根拠・条件・判断の一致を確認してください。
問1
出荷後の返品結果を出荷前の不良予測の入力にできますか。
問1の解答
予測時に未知なので、そのまま使うと情報漏洩になります。
問2
この演習の回答を採用する前に、一番注意して確認する点は何ですか。
問2の解答
評価データを見て閾値を選び直した結果を、最終評価として報告しないこと。
問3
本講座の成果物で満たすべき条件を自分の言葉で説明してください。
問3の判定基準
データ漏洩を避けテスト結果を分けて示す。自分の成果物の該当箇所を示して説明します。
SECTION 05
5. 講師用メモ
時間配分・指導の重点・採点を開く
目的・前提を確認：15分
解説本文と例題：35分
講師実演：25分
演習・例外の追加：75分
相互レビュー：20分
確認問題と振り返り：10分
指導の重点：コードが学習と評価を分離している行を指摘させる。
開始時の問い：「出荷後の返品結果を出荷前の不良予測の入力にできますか。」への仮回答を先に書かせ、最後に理由が変わったか確認します。
実演：配布資料を示す→初稿を作る→「評価データを見て閾値を選び直した結果を、最終評価として報告しないこと。」を点検する→修正する、の順で見せます。
相互レビュー：原資料に戻って説明できるか、未確認を埋めていないか、合格条件を満たすかを確かめます。
固有の到達基準：データ漏洩を避けテスト結果を分けて示す。
採点：目的適合・根拠確認・安全性・再現性・業務への適用を各0〜4点。合計14点以上、根拠確認と安全性は各3点以上を修了の目安とします。
0＝欠落または重大な誤り、1＝大幅な支援が必要、2＝一部修正が必要、3＝自立して満たす、4＝例外も検証し説明できる。
未達時：誤った箇所を本人に特定してもらい、資料の一条件を変更した別例で再提出してもらいます。
時間が余る場合：例外条件を追加し、別の受講者が手順を再現する試験を行います。
時間が不足する場合：発展演習を宿題へ回し、原資料との照合と確認問題は省略しません。
操作環境なしで受講した場合：知識・設計の到達と実操作の到達を区別して記録します。
持ち帰り：1週間以内に承認された一業務へ試用。作業・確認・修正時間と誤りを記録し、翌週に振り返ります。