/tutor-prep-s6-ict-artificial-intelligence-machine-learning/
/tutor-prep-s6-ict-artificial-intelligence-machine-learning/
英文版
3
General Inquiry: info@TutorZone.com.hk
Office Hours: Monday to Saturday - 9:00 AM to 6:00 PM
WhatsApp Monday to Sunday - 24 hours
Hotline: +852 6828 1809
Instant Support: +852 9061 3106

DSE ICT|人工智能與機器學習 備課指引(導師用)|混淆矩陣計算、資料切分與過擬合判斷

DSE ICT|人工智能與機器學習 備課指引(導師用)|混淆矩陣計算、資料切分與過擬合判斷

  • 2026-11-02

學生聽過 AI,但一問「這個模型幾準」就只答得出「好準」。這一堂把「準」拆成準確率、召回率與 F1 三個數。

本堂目標 學生能夠:① 由混淆矩陣四個格算出準確率、精確率、召回率與 F1;② 解釋為何 95% 準確率的模型可能完全沒用,並用資料不平衡說明;③ 分辨過擬合與欠擬合,講出訓練集與測試集的正確用法與三個對策。

01 先備知識(開課前 3 分鐘快檢)

以下任何一項未過關,本堂就會卡住,先補該項:

技能 快檢題 過關標準
百分比 174 除以 200 等於幾多百分比 87%
混淆矩陣 TP、FP、FN、TN 各代表什麼 答對/誤報/漏報/答對否定
平均值 一組數的均方根怎樣計 平方、平均、開方

02 課堂流程(60 分鐘)

時間 環節 導師做什麼 學生做什麼
0–10 分 AI 與 ML 分別 規則由人寫 vs 由資料學 各舉一個例子
10–22 分 監督學習流程 標註、切分、訓練、評估 寫出 7,000/1,500/1,500
22–36 分 混淆矩陣四格 TP 72、FP 8、FN 18、TN 102 四個數填對
36–46 分 三個指標 準確率 87%、精確率 90%、召回率 80% 算出 F1 84.7%
46–56 分 過擬合與對策 訓練 99.2% 測試 71.5%,差距 27.7 點 講三個對策
56–60 分 離場檢查 三題即場批 三題全對

03 講解腳本(照著說就可以)

第一幕:機器學習是從資料找規則,不是人寫規則

傳統程式由人寫 if…else;機器學習給 10,000 個已標註樣本,讓程式自己找分界線。
樣本要切三份:訓練 70%、驗證 15%、測試 15%,即 7,000/1,500/1,500。測試集只可以在最後用一次,中途不停用它調參數,就等於把考卷當練習,成績會虛高。
最簡單的 k 最近鄰:k = 5,鄰居 3 個貓 2 個狗,就判貓,信心 = 3 ÷ 5 = 60%;k 越大越平滑,越小越容易被單一雜訊帶走。

要學生講:為何測試集不可以一邊訓練一邊看(等於作弊,分數不再代表新資料表現)。

第二幕:一個 95% 準確率的模型可以完全冇用

200 個測試個案:TP 72、FP 8、FN 18、TN 102,四格相加 = 200,先做這個檢查。
準確率 = (72 + 102) ÷ 200 = 87%;精確率 = 72 ÷ 80 = 90%(報警之中幾多真);召回率 = 72 ÷ 90 = 80%(真事之中捉到幾多);F1 = 2 × 0.9 × 0.8 ÷ 1.7 = 84.7%。
反例:1,000 個個案只有 5% 是病人,一個「永遠答冇病」的模型準確率 95%,召回率卻是 0。所以資料不平衡時要報召回率與 F1,不可以只報準確率。

要學生講:為何醫院篩查寧願多誤報,也不可以漏報(漏報即病人回家)。

第三幕:過擬合是背答案,不是學會

訓練集 99.2%、測試集 71.5%,差 27.7 個百分點,就是過擬合的典型訊號:模型記住了訓練樣本的雜訊。
決策樹深度 8 最多可以有 2⁸ = 256 塊葉,葉越多越容易每塊只裝一兩個樣本,等於把答案抄下來。對策三個:加資料、剪枝或減深度、正則化(限制權重)。
相反,訓練與測試都只有 60% 就是欠擬合,要換更強模型或更多特徵。回歸看誤差:殘差 0.3、−0.2、0.5、0.1,RMSE = √0.0975 = 0.312,單位與目標一致才好比較。

要學生講:訓練分數高、測試分數低,代表模型出了什麼問題(記住訓練資料,未學會推廣)。

04 必教題型與步驟

題型 例子 步驟 答案
計算 準確率與召回率 準確率 (TP+TN)/總數;召回率 TP/(TP+FN) 87% 與 80%
計算 F1 2PR/(P+R),注意用同一單位 84.7%
計算 資料切分 總數乘 70%/15%/15% 7,000/1,500/1,500
解釋 過擬合判斷與對策 比較訓練與測試差距 → 三個對策 差距 27.7 點
合理性檢查(一定要教):混淆矩陣四格相加必須等於測試總數,200 就是 200,對不上就是有一格抄錯。
精確率的分母是「模型報正」的數,召回率的分母是「真實為正」的數,兩個分母不同,不可以混。
F1 一定落在精確率與召回率之間,若算出比兩者都大或都小,公式用錯。
百分比不會大於 100;訓練分數高於測試分數是正常,反過來才是資料洩漏。
RMSE 與目標同單位,不可以與百分比直接比較。

05 獨立練習三題

題目 答案 想觀察什麼
TP 72、FP 8、FN 18、TN 102 的準確率 87% 174 除 200
同一矩陣的 F1 84.7% P=90%、R=80% 代入 2PR/(P+R)
10,000 樣本 70/15/15 切分 7,000/1,500/1,500 三份相加等於 10,000

06 學生常見錯誤與糾正句

錯誤 學生通常這樣寫 導師這樣說
只報準確率 答「模型有 95% 準,好可靠」 「資料得 5% 係正例,永遠答冇都 95%,要報召回率。」
混淆精確率與召回率 兩個都用 TP 除同一個數 「精確率除『報咗幾多』,召回率除『真有幾多』。」
把測試集當練習 一邊調參數一邊看測試分數 「測試集只用一次,調參數要用驗證集。」
見高分就說模型好 訓練 99.2% 就交貨 「睇埋測試 71.5%,差 27.7 點即係過擬合。」

07 家課建議(直接指到練習卷題號)

08 離場檢查(最後 5 分鐘)

題目 答案 判定
準確率與召回率 87% 與 80% 三題全對=可進系統開發
F1 值 84.7% 錯一題=下堂前重講分母
過擬合的判斷依據 訓練與測試差 27.7 點 錯兩題以上=回到第三幕

09 導師常問

要背神經網絡的數學嗎?

不必。DSE 考概念與指標計算,深層數學不在範圍。

為何要多一個驗證集?

調參數時用驗證集,測試集留到最後一次,分數才可信。

準確率越高一定越好嗎?

資料不平衡時不是,要看召回率、精確率與 F1,並說明業務代價。

立即免費搵導師導師登記 →

本頁為 TutorZone 導師備課指引,內容由 TutorZone 團隊編寫;題目與流程為原創,並非任何學校或出版社的教材。

招募導師及興趣班教練|學術、樂器、體育、藝術、STEM,免費登記,招生與配對交給平台。 了解詳情 →