中学 ICT|人工智能与机器学习入门备课指引(导师用)|训练/测试、混淆矩阵、过拟合
- 2026-11-19
学生听见“准确率九成”就以为模型好,却不问测试集有几多个正例、也不问“全部答没有病”是否都九成。这一堂把机器学习拆成三个可以照做的动作:先切资料、再读四格、最后问模型有无作弊。
本堂目标 学生能够:① 讲出训练集与测试集的分工,并用八二比把一千个样本切成八百与二百;② 由混淆矩阵四格(真阳、假阳、假阴、真阴)算出准确率、精确率、召回率与 F1,并写出算式;③ 用“全部猜多数类”的基准线对照准确率,讲出为何九成准确率可能毫无用处;④ 用训练与测试准确率的差距判断过拟合,并讲出资料偏差会令测试结果失真。
01 先备知识(开课前 3 分钟快检)
以下任何一项未过关,本堂就会卡住,先补该项:
| 技能 | 快检题 | 过关标准 |
|---|---|---|
| 百分比与分数互换 | 一百七十除二百即几多百分比 | 八成半;先除后乘一百 |
| 二进制与字节 | 二十八乘二十八个像素、每个一字节,共几多字节 | 七百八十四字节 |
| 平均值概念 | 四次损失值 0.64、0.32、0.16、0.08 的平均 | 零点三 |
02 课堂流程(60 分钟)
| 时间 | 环节 | 导师做什么 | 学生做什么 |
|---|---|---|---|
| 0–6 分 | 开场诊断 | 问“准确率九成即代表模型好吗” | 各自写一句理由,最后对照 |
| 6–18 分 | 切资料:训练集与测试集 | 示范一千个样本切八百与二百,讲明测试集只可看一次 | 自己切一次并写出两个数字 |
| 18–32 分 | 混淆矩阵四格 | 由垃圾邮件例子填四格,逐个算准确率、精确率、召回率 | 用同一组数字算出四个指标 |
| 32–44 分 | 基准线与指标取舍 | 示范全部猜“非垃圾”得八成半准确率 | 比较两个模型的准确率与召回率 |
| 44–54 分 | 过拟合与资料偏差 | 示范训练九成八、测试七成二,讲差距二十六个百分点 | 判断哪一个模型过拟合 |
| 54–60 分 | 离场检查 | 收回两题即批,标明错在四格还是公式 | 独立完成 |
03 讲解脚本(照着说就可以)
第一幕:第一步永远是切资料,测试集只看一次
第一幕先讲规矩。一千个样本,八百个做训练集、二百个做测试集,比例八二;测试集在模型训练期间完全不可见,否则等于考试前看答案。学生最常把全部资料拿去训练,再在同一批资料上报告准确率,这个数字一定偏高,因为模型已经“见过”题目。讲三个名词的分工:训练集用来调整参数,验证集用来选设定,测试集只在最后报告一次。中五程度只需讲清训练与测试两者,验证集一句带过,留在专题研习再深入。再讲资料量与代表性:二百个测试样本里只有三十个是垃圾邮件,这种不平衡直接影响后面所有指标,所以每一步都要写出“正例几多个”。
要学生做:把一千个样本按八二切开,写出训练与测试各几多个。
要学生讲:为什么测试集不可以一边训练一边看。
要学生做:把一千个样本按八二切开,写出训练与测试各几多个。
要学生讲:为什么测试集不可以一边训练一边看。
要学生复述:训练集调参数,测试集只报告一次。
第二幕:混淆矩阵四格:先填格,再算指标
第二幕讲最容易被学生跳过的一步。二百个测试样本,三十个是垃圾邮件、一百七十个不是。模型把四十个判为垃圾邮件,其中二十四个真的是垃圾邮件(真阳),十六个不是(假阳);剩下三十个真有三十减二十四,等于六个被漏掉(假阴),一百七十减十六等于一百五十四个正确判为非垃圾(真阴)。四格加起来刚好二百,这是第一个检查。准确率是(真阳加真阴)除总数,即一百七十八除二百,得零点八九。精确率是真阳除(真阳加假阳),即二十四除四十,得零点六——模型说是垃圾邮件的,只有六成真的中。召回率是真阳除(真阳加假阴),即二十四除三十,得零点八——三成垃圾邮件漏了。F1 是精确率与召回率的调和平均,二乘零点六乘零点八除(零点六加零点八),得零点六八六。要学生讲:如果导师只收到“准确率”一个数字,他最想知道哪两格。
要学生做:由四格算出准确率 0.89、精确率 0.60、召回率 0.80。
要学生讲:为何精确率与召回率会一个高一个低。
要学生做:由四格算出准确率 0.89、精确率 0.60、召回率 0.80。
要学生讲:为何精确率与召回率会一个高一个低。
要学生复述:四格相加等于总数;精确率看假阳,召回率看假阴。
第三幕:基准线、过拟合与资料偏差:问模型有无作弊
第三幕讲三种“假叻”。基准线:全部猜“非垃圾邮件”,准确率是一百七十除二百,得八成半,比我们例子中的八成九只差四个百分点,所以单看准确率分不出好坏,要一齐看召回率——基准线的召回率是零,一封垃圾邮件都捉不到。过拟合:训练集准确率九成八、测试集只有七成二,差距二十六个百分点,代表模型背了训练集而学不到规律;补救是加资料、减模型复杂度或加大正则化,不是继续调同一个测试集。资料偏差:如果训练集的垃圾邮件全部来自同一个来源、同一个语言,模型换场景就会失准;测试集若也是同一个来源,报告出来的指标会乐观,这叫分布不一致。收尾给一句提问:这个模型的错误代价由谁承担?医疗筛查宁可假阳多,宁愿复检;垃圾邮件过滤则宁可漏一两封,也不想误杀重要邮件。指标不是数学题,是成本选择。
要学生做:算全部猜多数类的准确率与召回率。
要学生讲:训练与测试差二十六个百分点代表什么。
要学生做:算全部猜多数类的准确率与召回率。
要学生讲:训练与测试差二十六个百分点代表什么。
要学生复述:先看基准线,再看过拟合差距,最后问偏差与代价。
04 必教题型与步骤
| 题型 | 例子 | 步骤 | 答案 |
|---|---|---|---|
| 资料切分 | 1000 个样本,八二比 | 乘比例,写明训练与测试各几多 | 800 与 200 |
| 混淆矩阵 | 30 正例、40 判正、24 真阳 | 四格相加等于总数,逐格填 | TP 24、FP 16、FN 6、TN 154 |
| 指标计算 | 同上四格 | 准确率(TP+TN)/N、精确 TP/(TP+FP)、召回 TP/(TP+FN)、F1 调和平均 | 0.89 / 0.60 / 0.80 / 0.686 |
| 基准线与过拟合 | 全部猜多数类;训练 0.98、测试 0.72 | 算多数类比例,再算训练测试差 | 0.85 且召回 0;差距 26 个百分点 |
合理性检查(一定要教):合理性检查:四格相加一定要等于测试集总数,加起来超过或不足就是填错格;真阳加假阴一定等于真正的正例数,不符即代表有一格抄错;准确率、精确率、召回率一定介乎零与一,写出一点二就是分母用错;F1 一定不大于精确率与召回率之中较大的一个;训练准确率减测试准确率为正数才叫过拟合,测试高过训练通常是资料太少或切分不均;说“准确率九成”时,必须同时讲出正例比例,否则无法判断好坏。
05 独立练习三题
| 题目 | 答案 | 想观察什么 |
|---|---|---|
| 切分 | 2000 个样本,九一比 | 观察是否写出 1800 与 200,答案 1800 与 200 |
| 精确率 | TP 18、FP 6 | 观察分母是否 TP+FP,答案 0.75 |
| 召回率 | TP 18、FN 12 | 观察分母是否 TP+FN,答案 0.60 |
06 学生常见错误与纠正句
| 错误 | 学生通常这样写 | 导师这样说 |
|---|---|---|
| 用训练集报告准确率 | 写“在 1000 个样本上准确率 98%” | 测试集只可看一次;先写清楚你报的是哪一批资料。 |
| 四格相加不等于总数 | 写 TP 24、FP 16、FN 12、TN 154 | 加起来 206,超过 200;先由正例 30 减真阳 24 得假阴 6。 |
| 精确率与召回率倒转 | 写“精确率 0.8、召回率 0.6” | 精确率看“判为正的有几多真”即 24/40,召回率看“真的正例捉到几多”即 24/30。 |
| 见高准确率就收货 | 写“模型准确率 90%,可以用” | 先算全部猜多数类的基准线,再看召回率;捉不到正例的模型等于无用。 |
07 家课建议(直接指到练习卷题号)
- 中学 ICT 章节索引 本科全部章节
- 备课指引总索引 其他科目的对应章节
- 重做本章 独立练习第 1、2、3 题:切分、精确率、召回率
08 离场检查(最后 5 分钟)
| 题目 | 答案 | 判定 |
|---|---|---|
| 切分 | 训练调参、测试报一次 | 说不出分工就要重讲第一幕 |
| 混淆矩阵 | 四格相加等于总数 | 加错就要重填两题 |
| 指标 | 精确看假阳、召回看假阴 | 倒转就要补算一题 |
09 导师常问
学生未学过概率怎办
不用引入概率符号,全部用“格数除总数”讲;混淆矩阵本身就是数格。
要不要教公式推导
不必。要求学生每次都先写四格再代数,写得出两条除式就够。
没有电脑可否上这一堂
可以。用纸上四格与计算机已足够,重点是理解指标与代价,不是写程式。
本页为 TutorZone 导师备课指引,内容由 TutorZone 团队编写;题目与流程为原创,并非任何学校或出版社的教材。


