中學 ICT|人工智能與機器學習入門備課指引(導師用)|訓練/測試、混淆矩陣、過擬合
- 2026-11-19
學生聽見「準確率九成」就以為模型好,卻不問測試集有幾多個正例、也不問「全部答冇病」是否都九成。這一堂把機器學習拆成三個可以照做的動作:先切資料、再讀四格、最後問模型有無作弊。
本堂目標 學生能夠:① 講出訓練集與測試集的分工,並用八二比把一千個樣本切成八百與二百;② 由混淆矩陣四格(真陽、假陽、假陰、真陰)算出準確率、精確率、召回率與 F1,並寫出算式;③ 用「全部猜多數類」的基準線對照準確率,講出為何九成準確率可能毫無用處;④ 用訓練與測試準確率的差距判斷過擬合,並講出資料偏差會令測試結果失真。
01 先備知識(開課前 3 分鐘快檢)
以下任何一項未過關,本堂就會卡住,先補該項:
| 技能 | 快檢題 | 過關標準 |
|---|---|---|
| 百分比與分數互換 | 一百七十除二百即幾多百分比 | 八成半;先除後乘一百 |
| 二進位與位元組 | 二十八乘二十八個像素、每個一位元組,共幾多位元組 | 七百八十四位元組 |
| 平均值概念 | 四次損失值 0.64、0.32、0.16、0.08 的平均 | 零點三 |
02 課堂流程(60 分鐘)
| 時間 | 環節 | 導師做什麼 | 學生做什麼 |
|---|---|---|---|
| 0–6 分 | 開場診斷 | 問「準確率九成即代表模型好嗎」 | 各自寫一句理由,最後對照 |
| 6–18 分 | 切資料:訓練集與測試集 | 示範一千個樣本切八百與二百,講明測試集只可看一次 | 自己切一次並寫出兩個數字 |
| 18–32 分 | 混淆矩陣四格 | 由垃圾郵件例子填四格,逐個算準確率、精確率、召回率 | 用同一組數字算出四個指標 |
| 32–44 分 | 基準線與指標取捨 | 示範全部猜「非垃圾」得八成半準確率 | 比較兩個模型的準確率與召回率 |
| 44–54 分 | 過擬合與資料偏差 | 示範訓練九成八、測試七成二,講差距二十六個百分點 | 判斷哪一個模型過擬合 |
| 54–60 分 | 離場檢查 | 收回兩題即批,標明錯在四格還是公式 | 獨立完成 |
03 講解腳本(照著說就可以)
第一幕:第一步永遠是切資料,測試集只看一次
第一幕先講規矩。一千個樣本,八百個做訓練集、二百個做測試集,比例八二;測試集在模型訓練期間完全不可見,否則等於考試前看答案。學生最常把全部資料拿去訓練,再在同一批資料上報告準確率,這個數字一定偏高,因為模型已經「見過」題目。講三個名詞的分工:訓練集用來調整參數,驗證集用來選設定,測試集只在最後報告一次。中五程度只需講清訓練與測試兩者,驗證集一句帶過,留在專題研習再深入。再講資料量與代表性:二百個測試樣本裏只有三十個是垃圾郵件,這種不平衡直接影響後面所有指標,所以每一步都要寫出「正例幾多個」。
要學生做:把一千個樣本按八二切開,寫出訓練與測試各幾多個。
要學生講:為甚麼測試集不可以一邊訓練一邊看。
要學生做:把一千個樣本按八二切開,寫出訓練與測試各幾多個。
要學生講:為甚麼測試集不可以一邊訓練一邊看。
要學生複述:訓練集調參數,測試集只報告一次。
第二幕:混淆矩陣四格:先填格,再算指標
第二幕講最容易被學生跳過的一步。二百個測試樣本,三十個是垃圾郵件、一百七十個不是。模型把四十個判為垃圾郵件,其中二十四個真的是垃圾郵件(真陽),十六個不是(假陽);剩下三十個真有三十減二十四,等於六個被漏掉(假陰),一百七十減十六等於一百五十四個正確判為非垃圾(真陰)。四格加起來剛好二百,這是第一個檢查。準確率是(真陽加真陰)除總數,即一百七十八除二百,得零點八九。精確率是真陽除(真陽加假陽),即二十四除四十,得零點六——模型說是垃圾郵件的,只有六成真的中。召回率是真陽除(真陽加假陰),即二十四除三十,得零點八——三成垃圾郵件漏了。F1 是精確率與召回率的調和平均,二乘零點六乘零點八除(零點六加零點八),得零點六八六。要學生講:如果導師只收到「準確率」一個數字,他最想知道哪兩格。
要學生做:由四格算出準確率 0.89、精確率 0.60、召回率 0.80。
要學生講:為何精確率與召回率會一個高一個低。
要學生做:由四格算出準確率 0.89、精確率 0.60、召回率 0.80。
要學生講:為何精確率與召回率會一個高一個低。
要學生複述:四格相加等於總數;精確率看假陽,召回率看假陰。
第三幕:基準線、過擬合與資料偏差:問模型有無作弊
第三幕講三種「假叻」。基準線:全部猜「非垃圾郵件」,準確率是一百七十除二百,得八成半,比我們例子中的八成九隻差四個百分點,所以單看準確率分不出好壞,要一齊看召回率——基準線的召回率是零,一封垃圾郵件都捉不到。過擬合:訓練集準確率九成八、測試集只有七成二,差距二十六個百分點,代表模型背了訓練集而學不到規律;補救是加資料、減模型複雜度或加大正則化,不是繼續調同一個測試集。資料偏差:如果訓練集的垃圾郵件全部來自同一個來源、同一個語言,模型換場景就會失準;測試集若也是同一個來源,報告出來的指標會樂觀,這叫分佈不一致。收尾給一句提問:這個模型的錯誤代價由誰承擔?醫療篩查寧可假陽多,寧願覆檢;垃圾郵件過濾則寧可漏一兩封,也不想誤殺重要郵件。指標不是數學題,是成本選擇。
要學生做:算全部猜多數類的準確率與召回率。
要學生講:訓練與測試差二十六個百分點代表甚麼。
要學生做:算全部猜多數類的準確率與召回率。
要學生講:訓練與測試差二十六個百分點代表甚麼。
要學生複述:先看基準線,再看過擬合差距,最後問偏差與代價。
04 必教題型與步驟
| 題型 | 例子 | 步驟 | 答案 |
|---|---|---|---|
| 資料切分 | 1000 個樣本,八二比 | 乘比例,寫明訓練與測試各幾多 | 800 與 200 |
| 混淆矩陣 | 30 正例、40 判正、24 真陽 | 四格相加等於總數,逐格填 | TP 24、FP 16、FN 6、TN 154 |
| 指標計算 | 同上四格 | 準確率(TP+TN)/N、精確 TP/(TP+FP)、召回 TP/(TP+FN)、F1 調和平均 | 0.89 / 0.60 / 0.80 / 0.686 |
| 基準線與過擬合 | 全部猜多數類;訓練 0.98、測試 0.72 | 算多數類比例,再算訓練測試差 | 0.85 且召回 0;差距 26 個百分點 |
合理性檢查(一定要教):合理性檢查:四格相加一定要等於測試集總數,加起來超過或不足就是填錯格;真陽加假陰一定等於真正的正例數,不符即代表有一格抄錯;準確率、精確率、召回率一定介乎零與一,寫出一點二就是分母用錯;F1 一定不大於精確率與召回率之中較大的一個;訓練準確率減測試準確率為正數才叫過擬合,測試高過訓練通常是資料太少或切分不均;說「準確率九成」時,必須同時講出正例比例,否則無法判斷好壞。
05 獨立練習三題
| 題目 | 答案 | 想觀察什麼 |
|---|---|---|
| 切分 | 2000 個樣本,九一比 | 觀察是否寫出 1800 與 200,答案 1800 與 200 |
| 精確率 | TP 18、FP 6 | 觀察分母是否 TP+FP,答案 0.75 |
| 召回率 | TP 18、FN 12 | 觀察分母是否 TP+FN,答案 0.60 |
06 學生常見錯誤與糾正句
| 錯誤 | 學生通常這樣寫 | 導師這樣說 |
|---|---|---|
| 用訓練集報告準確率 | 寫「在 1000 個樣本上準確率 98%」 | 測試集只可看一次;先寫清楚你報的是哪一批資料。 |
| 四格相加不等於總數 | 寫 TP 24、FP 16、FN 12、TN 154 | 加起來 206,超過 200;先由正例 30 減真陽 24 得假陰 6。 |
| 精確率與召回率倒轉 | 寫「精確率 0.8、召回率 0.6」 | 精確率看「判為正的有幾多真」即 24/40,召回率看「真的正例捉到幾多」即 24/30。 |
| 見高準確率就收貨 | 寫「模型準確率 90%,可以用」 | 先算全部猜多數類的基準線,再看召回率;捉不到正例的模型等於無用。 |
07 家課建議(直接指到練習卷題號)
- 中學 ICT 章節索引 本科全部章節
- 備課指引總索引 其他科目的對應章節
- 重做本章 獨立練習第 1、2、3 題:切分、精確率、召回率
08 離場檢查(最後 5 分鐘)
| 題目 | 答案 | 判定 |
|---|---|---|
| 切分 | 訓練調參、測試報一次 | 說不出分工就要重講第一幕 |
| 混淆矩陣 | 四格相加等於總數 | 加錯就要重填兩題 |
| 指標 | 精確看假陽、召回看假陰 | 倒轉就要補算一題 |
09 導師常問
學生未學過概率怎辦
不用引入概率符號,全部用「格數除總數」講;混淆矩陣本身就是數格。
要不要教公式推導
不必。要求學生每次都先寫四格再代數,寫得出兩條除式就夠。
沒有電腦可否上這一堂
可以。用紙上四格與計算機已足夠,重點是理解指標與代價,不是寫程式。
本頁為 TutorZone 導師備課指引,內容由 TutorZone 團隊編寫;題目與流程為原創,並非任何學校或出版社的教材。


