/tutor-prep-s5-ict-big-data-analysis-pipeline/
/tutor-prep-s5-ict-big-data-analysis-pipeline/
一般查詢: info@TutorZone.com.hk
辦公時間: 星期一至六 - 上午 9 時至下午 6 時
WhatsApp 星期一至日 - 24 小時
人手接聽: +852 6828 1809
即時客服: +852 9061 3106

中五 ICT|大數據與數據分析流程(3V/清洗/MapReduce)備課指引(導師用)|45 分鐘流程、講解腳本、常見錯誤

中五 ICT|大數據與數據分析流程(3V/清洗/MapReduce)備課指引(導師用)|45 分鐘流程、講解腳本、常見錯誤

  • 2026-11-15

學生聽到「大數據」就想到一堆新名詞,但一問清洗之後剩幾多行、並行快幾多倍就停手。這一堂把流程變成五步流水線,每一步只做加減乘除。

本堂目標 本堂完結時學生能夠:(1)講出收集、清洗、儲存、分析、呈現五步各自做咩,同每一步數據量點變;(2)由 500 萬行乘 240 bytes 算出 1.2 GB,並講出 3V 分別指體量、速度、多樣性;(3)由缺失 4%(200,000 行)同重複 1.5%(75,000 行)算出清洗後 4,725,000 行,再算出 6 個分片每片 787,500 行;(4)由 4 個 map 各 25 分鐘加 reduce 10 分鐘算出順序 110 分鐘、並行 35 分鐘、加速 3.14 倍,並講出相關唔等於因果。

01 先備知識(開課前 3 分鐘快檢)

以下任何一項未過關,本堂就會卡住,先補該項:

技能 快檢題 過關標準
百分比 500 萬行的 4% 是幾多行 答 200,000 行
單位換算 1,200,000,000 bytes 是幾多 GB 答 1.2 GB
除法 4,725,000 行平均分 6 個分片 答 787,500 行
速率 每日 1,000 萬事件,每秒幾多事件 答 115.74 事件

02 課堂流程(45 分鐘)

時間 環節 導師做什麼 學生做什麼
0–6 分鐘 起點快檢 問 4% 行數、1.2 GB、每片行數、每秒事件,答案寫白板右邊 口頭答,算式寫在紙上
6–16 分鐘 第一幕:五步流水線,每步都在縮 畫五個箭頭,箭頭上寫數據量:5,000,000 行 → 4,725,000 行 → 1.134 GB → 分片 學生指出邊一步開始縮細
16–26 分鐘 第二幕:3V 同清洗是減法 volume 1.2 GB、velocity 115.74 事件/秒、variety 三種格式;缺失同重複逐層減 學生算出 4,725,000 同 787,500
26–36 分鐘 第三幕:MapReduce 與呈現 4 個 map 各 25 分鐘:順序 110 分鐘、並行 35 分鐘、加速 3.14 倍;呈現要問第三個變量 學生算出 3.14 倍並講出為何唔是 4 倍
36–42 分鐘 題型示範與換數字練習 換成 800 萬行、缺失 5%、8 個 map,示範四種問法 學生跟做一題並寫出單位(行、GB、秒)
42–45 分鐘 離場檢查 三題口頭,錯的記下是哪一幕 三題全對

03 講解腳本(照著說就可以)

第一幕:第一幕:五步流水線,每一步都在縮細數據

「數據分析唔是一個程式,是一條流水線。第一步收集:感應器、網站日誌、交易紀錄,每日 1,000 萬個事件。第二步清洗:缺失值、重複值、格式錯的值全部要處理,這一步只會變少,唔會變多。第三步儲存:放進數據庫或分散式檔案系統,通常按 key 分片,6 個分片就每片一份。第四步分析:計平均、分組、找趨勢,數據量大就拆成 map 同 reduce 兩段。第五步呈現:儀表板、圖表、報告。做題目時,題目問「幾多行」就要由源頭逐層減,問「幾多 GB」就要行數乘每行 bytes,五步唔可以跳。」

「清洗之後的行數,有可能多過原本 500 萬行嗎?為咩?」

第二幕:第二幕:3V 是三個方向,清洗是減法

「大數據的三個 V:volume 體量,500 萬行乘每行 240 bytes,等於 1,200,000,000 bytes,即 1.2 GB,用二進位講就大約 1.12 GiB;velocity 速度,每日 1,000 萬事件除 86,400 秒,大約每秒 115.74 個,所以要用串流而唔是一次過入庫;variety 多樣性,同一個系統有結構化的交易表、半結構化的日誌、非結構化的文字評論。清洗就是減法:缺失 4% 是 500 萬乘 0.04,等於 200,000 行;重複 1.5% 等於 75,000 行;兩者一齊移走,剩 5,000,000 減 200,000 減 75,000,等於 4,725,000 行,容量由 1.2 GB 降到 1.134 GB,6 個分片每片 787,500 行。」

「如果缺失同重複有重疊,直接相減會唔會算多咗?點補救?」

第三幕:第三幕:MapReduce 的加速有上限,呈現要問因果

「分析階段的並行,用 4 個 map 任務做例:每個 map 25 分鐘,如果一部機順序做,4 個要 100 分鐘,再加 reduce 10 分鐘,總共 110 分鐘;如果 4 部機同時做 map,25 分鐘就做完,之後仍然要 10 分鐘 reduce,所以總共 35 分鐘。加速比是 110 除 35,大約 3.14 倍,唔是 4 倍,因為 reduce 唔可以並行,而且開機、傳資料都有成本。最後一步呈現要小心:圖表顯示雪糕銷量同溺斃人數一齊升,唔代表雪糕導致溺斃,兩者都跟天氣走。分析流程的價值在於問「有冇第三個變量」。」

「如果 map 任務加到 8 個,加速比會不會變成 6 倍以上?為咩?」

04 必教題型與步驟

題型 例子 步驟 答案
算清洗後行數 5,000,000 行,缺失 4%、重複 1.5% 分別算出兩類行數,再逐層相減 4,725,000 行
換算容量 5,000,000 行乘每行 240 bytes 相乘後除 1,000,000,000 得 GB,除 2 的 30 次方得 GiB 1.2 GB(約 1.12 GiB)
算吞吐量 每日 1,000 萬個事件 除以 86,400 秒;反過來乘 86,400 可以驗算 約 115.74 事件/秒
算並行加速 4 個 map 各 25 分鐘、reduce 10 分鐘 順序總時間除並行總時間 110 除 35 約 3.14 倍
合理性檢查(一定要教):四個覆核:(1)清洗後行數一定少過原本,多過就代表你加了;(2)GB 用 10 億 bytes,GiB 用 2 的 30 次方,題目寫邊個就跟邊個,兩個數都對但唔可以互換;(3)每秒事件數乘 86,400 要回到每日總數,回不到就是除錯數;(4)加速比一定細過 map 任務數,4 個 map 出 4 倍就代表你當 reduce 免費。

05 獨立練習三題

題目 答案 想觀察什麼
5,000,000 行,缺失 4%,有幾多行要移走? 200,000 行 看學生有冇用 5,000,000 乘 0.04 而不是乘 4
清洗後 4,725,000 行分 6 個分片,每片幾多行? 787,500 行 4,725,000 除 6,唔是用原本 500 萬除
4 個 map 各 25 分鐘、reduce 10 分鐘,加速幾多倍? 約 3.14 倍(110 除 35) 分母要包含 reduce 的 10 分鐘

06 學生常見錯誤與糾正句

錯誤 學生通常這樣寫 導師這樣說
清洗當成加法 答 5,000,000 加 200,000 加 75,000 缺失同重複是要移除的行,所以是減。加就等於把壞數據當成新數據,越洗越多。
GB 同 GiB 混用 1.2 GB 寫成 1.2 GiB 1.2 GB 大約 1.12 GiB。兩個數都對,但單位唔可以互換,題目寫明就跟題目。
MapReduce 當成全部免費並行 答 35 分鐘但唔計 reduce,或者直接寫 4 倍 並行只發生在 map 階段,reduce 仍然要 10 分鐘,所以是 110 除 35 約 3.14 倍。
相關當因果 見到雪糕銷量同溺斃人數一齊升就話雪糕導致溺斃 兩者都跟天氣走,是共同原因。呈現之前要問有冇第三個變量,這一步唔寫,報告就會誤導人。

07 家課建議(直接指到練習卷題號)

08 離場檢查(最後 5 分鐘)

題目 答案 判定
500 萬行、缺失 4%、重複 1.5%,清洗後幾多行? 4,725,000 行 錯:重教第二幕,兩類都要相減
4 個 map 各 25 分鐘、reduce 10 分鐘,並行總時間幾多? 35 分鐘 錯:重教第三幕,map 並行但 reduce 要加返
圖表兩條線一齊升,可唔可以直接話有因果? 唔可以,要問有冇第三個變量 錯:重教第三幕,相關與因果

09 導師常問

中五學生需要識寫 MapReduce 程式嗎?

唔需要。DSE 考的是流程概念同算術:邊一步做咩、數據量點變、並行快幾多倍。會用文字講 map 同 reduce 的分工就夠。

這一章同中四試算表的數據處理有咩分別?

中四是在一部機上處理幾百行,公式、篩選、樞紐分析表就夠;這一章是幾百萬行,所以要講分片、串流、並行。同一個加總動作,規模變了,方法就跟住變。

1.2 GB、4,725,000 行、3.14 倍是真實數據嗎?

唔是,全部是教學數字,設計成可以口算同整除。真實系統的清洗比例同加速比差別很大,重點是每一步的算法同單位。

立即免費搵導師導師登記 →

本頁為 TutorZone 導師備課指引,內容由 TutorZone 團隊編寫;題目與流程為原創,並非任何學校或出版社的教材。

本頁內容版權屬 TutorZone 所有 · www.tutorzone.com.hk · 僅供個人學習及教學使用

招募導師及興趣班教練|學術、樂器、體育、藝術、STEM,免費登記,招生與配對交給平台。 了解詳情 →