/cn-tutor-prep-s5-ict-artificial-intelligence-machine-learning/
/cn-tutor-prep-s5-ict-artificial-intelligence-machine-learning/
一般查询: info@TutorZone.com.hk
办公时间: 星期一至六 - 上午 9 时至下午 6 时
WhatsApp 星期一至日 - 24 小时
人手接听: +852 6828 1809
实时客服: +852 9061 3106

中学 ICT|人工智能与机器学习入门备课指引(导师用)|训练/测试、混淆矩阵、过拟合

中学 ICT|人工智能与机器学习入门备课指引(导师用)|训练/测试、混淆矩阵、过拟合

  • 2026-11-19

学生听见“准确率九成”就以为模型好,却不问测试集有几多个正例、也不问“全部答没有病”是否都九成。这一堂把机器学习拆成三个可以照做的动作:先切资料、再读四格、最后问模型有无作弊。

本堂目标 学生能够:① 讲出训练集与测试集的分工,并用八二比把一千个样本切成八百与二百;② 由混淆矩阵四格(真阳、假阳、假阴、真阴)算出准确率、精确率、召回率与 F1,并写出算式;③ 用“全部猜多数类”的基准线对照准确率,讲出为何九成准确率可能毫无用处;④ 用训练与测试准确率的差距判断过拟合,并讲出资料偏差会令测试结果失真。

01 先备知识(开课前 3 分钟快检)

以下任何一项未过关,本堂就会卡住,先补该项:

技能 快检题 过关标准
百分比与分数互换 一百七十除二百即几多百分比 八成半;先除后乘一百
二进制与字节 二十八乘二十八个像素、每个一字节,共几多字节 七百八十四字节
平均值概念 四次损失值 0.64、0.32、0.16、0.08 的平均 零点三

02 课堂流程(60 分钟)

时间 环节 导师做什么 学生做什么
0–6 分 开场诊断 问“准确率九成即代表模型好吗” 各自写一句理由,最后对照
6–18 分 切资料:训练集与测试集 示范一千个样本切八百与二百,讲明测试集只可看一次 自己切一次并写出两个数字
18–32 分 混淆矩阵四格 由垃圾邮件例子填四格,逐个算准确率、精确率、召回率 用同一组数字算出四个指标
32–44 分 基准线与指标取舍 示范全部猜“非垃圾”得八成半准确率 比较两个模型的准确率与召回率
44–54 分 过拟合与资料偏差 示范训练九成八、测试七成二,讲差距二十六个百分点 判断哪一个模型过拟合
54–60 分 离场检查 收回两题即批,标明错在四格还是公式 独立完成

03 讲解脚本(照着说就可以)

第一幕:第一步永远是切资料,测试集只看一次

第一幕先讲规矩。一千个样本,八百个做训练集、二百个做测试集,比例八二;测试集在模型训练期间完全不可见,否则等于考试前看答案。学生最常把全部资料拿去训练,再在同一批资料上报告准确率,这个数字一定偏高,因为模型已经“见过”题目。讲三个名词的分工:训练集用来调整参数,验证集用来选设定,测试集只在最后报告一次。中五程度只需讲清训练与测试两者,验证集一句带过,留在专题研习再深入。再讲资料量与代表性:二百个测试样本里只有三十个是垃圾邮件,这种不平衡直接影响后面所有指标,所以每一步都要写出“正例几多个”。
要学生做:把一千个样本按八二切开,写出训练与测试各几多个。
要学生讲:为什么测试集不可以一边训练一边看。

要学生复述:训练集调参数,测试集只报告一次。

第二幕:混淆矩阵四格:先填格,再算指标

第二幕讲最容易被学生跳过的一步。二百个测试样本,三十个是垃圾邮件、一百七十个不是。模型把四十个判为垃圾邮件,其中二十四个真的是垃圾邮件(真阳),十六个不是(假阳);剩下三十个真有三十减二十四,等于六个被漏掉(假阴),一百七十减十六等于一百五十四个正确判为非垃圾(真阴)。四格加起来刚好二百,这是第一个检查。准确率是(真阳加真阴)除总数,即一百七十八除二百,得零点八九。精确率是真阳除(真阳加假阳),即二十四除四十,得零点六——模型说是垃圾邮件的,只有六成真的中。召回率是真阳除(真阳加假阴),即二十四除三十,得零点八——三成垃圾邮件漏了。F1 是精确率与召回率的调和平均,二乘零点六乘零点八除(零点六加零点八),得零点六八六。要学生讲:如果导师只收到“准确率”一个数字,他最想知道哪两格。
要学生做:由四格算出准确率 0.89、精确率 0.60、召回率 0.80。
要学生讲:为何精确率与召回率会一个高一个低。

要学生复述:四格相加等于总数;精确率看假阳,召回率看假阴。

第三幕:基准线、过拟合与资料偏差:问模型有无作弊

第三幕讲三种“假叻”。基准线:全部猜“非垃圾邮件”,准确率是一百七十除二百,得八成半,比我们例子中的八成九只差四个百分点,所以单看准确率分不出好坏,要一齐看召回率——基准线的召回率是零,一封垃圾邮件都捉不到。过拟合:训练集准确率九成八、测试集只有七成二,差距二十六个百分点,代表模型背了训练集而学不到规律;补救是加资料、减模型复杂度或加大正则化,不是继续调同一个测试集。资料偏差:如果训练集的垃圾邮件全部来自同一个来源、同一个语言,模型换场景就会失准;测试集若也是同一个来源,报告出来的指标会乐观,这叫分布不一致。收尾给一句提问:这个模型的错误代价由谁承担?医疗筛查宁可假阳多,宁愿复检;垃圾邮件过滤则宁可漏一两封,也不想误杀重要邮件。指标不是数学题,是成本选择。
要学生做:算全部猜多数类的准确率与召回率。
要学生讲:训练与测试差二十六个百分点代表什么。

要学生复述:先看基准线,再看过拟合差距,最后问偏差与代价。

04 必教题型与步骤

题型 例子 步骤 答案
资料切分 1000 个样本,八二比 乘比例,写明训练与测试各几多 800 与 200
混淆矩阵 30 正例、40 判正、24 真阳 四格相加等于总数,逐格填 TP 24、FP 16、FN 6、TN 154
指标计算 同上四格 准确率(TP+TN)/N、精确 TP/(TP+FP)、召回 TP/(TP+FN)、F1 调和平均 0.89 / 0.60 / 0.80 / 0.686
基准线与过拟合 全部猜多数类;训练 0.98、测试 0.72 算多数类比例,再算训练测试差 0.85 且召回 0;差距 26 个百分点
合理性检查(一定要教):合理性检查:四格相加一定要等于测试集总数,加起来超过或不足就是填错格;真阳加假阴一定等于真正的正例数,不符即代表有一格抄错;准确率、精确率、召回率一定介乎零与一,写出一点二就是分母用错;F1 一定不大于精确率与召回率之中较大的一个;训练准确率减测试准确率为正数才叫过拟合,测试高过训练通常是资料太少或切分不均;说“准确率九成”时,必须同时讲出正例比例,否则无法判断好坏。

05 独立练习三题

题目 答案 想观察什么
切分 2000 个样本,九一比 观察是否写出 1800 与 200,答案 1800 与 200
精确率 TP 18、FP 6 观察分母是否 TP+FP,答案 0.75
召回率 TP 18、FN 12 观察分母是否 TP+FN,答案 0.60

06 学生常见错误与纠正句

错误 学生通常这样写 导师这样说
用训练集报告准确率 写“在 1000 个样本上准确率 98%” 测试集只可看一次;先写清楚你报的是哪一批资料。
四格相加不等于总数 写 TP 24、FP 16、FN 12、TN 154 加起来 206,超过 200;先由正例 30 减真阳 24 得假阴 6。
精确率与召回率倒转 写“精确率 0.8、召回率 0.6” 精确率看“判为正的有几多真”即 24/40,召回率看“真的正例捉到几多”即 24/30。
见高准确率就收货 写“模型准确率 90%,可以用” 先算全部猜多数类的基准线,再看召回率;捉不到正例的模型等于无用。

07 家课建议(直接指到练习卷题号)

08 离场检查(最后 5 分钟)

题目 答案 判定
切分 训练调参、测试报一次 说不出分工就要重讲第一幕
混淆矩阵 四格相加等于总数 加错就要重填两题
指标 精确看假阳、召回看假阴 倒转就要补算一题

09 导师常问

学生未学过概率怎办

不用引入概率符号,全部用“格数除总数”讲;混淆矩阵本身就是数格。

要不要教公式推导

不必。要求学生每次都先写四格再代数,写得出两条除式就够。

没有电脑可否上这一堂

可以。用纸上四格与计算机已足够,重点是理解指标与代价,不是写程式。

立即免费找导师导师登记 →

本页为 TutorZone 导师备课指引,内容由 TutorZone 团队编写;题目与流程为原创,并非任何学校或出版社的教材。

招募导师及兴趣班教练|学术、乐器、体育、艺术、STEM,免费登记,招生与配对交给平台。 了解详情 →