L112︱別讓 AI 吃垃圾！一次搞懂資料清洗、特徵工程與統計

前言

第一步：迷思破解——為什麼收集了一堆資料，AI 卻還是學不會？

1. 數據的宇宙：大數據 4V 特性

• 數量 (Volume)
• 資料規模龐大。
• 舉例：全球每天新增數億張照片或影片；單一智慧工廠每分鐘產生數 TB 的感測器數據。

• 速度 (Velocity)
• 資料產生與處理速度快。
• 舉例：Google 地圖或即時導航 App 的路況更新，必須每幾秒鐘就分析數百萬輛汽車的回傳數據；或是短影音平台根據你觀看時間的微小變化，即時推送下一個影片。

• 多樣性 (Variety)： 包含各種格式。
• 你的手機每天生成的數據：(1) 聯絡人清單 (結構化) + (2) 你拍的照片/短片 (非結構化) + (3) App 的設定檔或網頁的快取 (半結構化)。

• 價值 (Value)
• 數據背後蘊藏的商業價值。
• 影音串流平台（如 Netflix 或 YouTube）：從數十億次的觀看紀錄中，精準預測你接下來會點擊哪部影片，讓你持續「黏」在平台上，願意續訂。

2. 資料的「長相」：資料型態分類

• 結構化資料 (Structured Data)
• 關聯式資料庫、欄位明確、易於統計（如 SQL, CSV）。
• 就像銀行存摺或身份證。它的格式是「固定死」的，電腦一掃描就知道哪裡是「姓名」、哪裡是「餘額」。因為欄位規矩，所以計算總數或平均數非常快。

• 非結構化資料 (Unstructured Data)
• 影像、文字、語音等，需要 AI 轉換特徵。
• 就像你家抽屜裡塞滿的舊照片、隨手寫的便條紙或錄音檔。電腦無法直接用 Excel 的方式去計算它們。你需要靠 AI（例如：人臉辨識或語音轉文字）先幫它「看懂」或「聽懂」，把內容轉成數字後才能分析。

• 半結構化資料 (Semi-structured Data)
• JSON、XML、YAML，有欄位但格式不固定。
• 就像網購的電子訂單。雖然有固定的標籤（例如：訂單編號、收件地址），但裡面的商品細節欄位可以隨時增加或減少（這次買書，下次買電器），比存摺靈活，比抽屜裡的雜物有條理。

第二步：實戰難題——遇到「髒資料」該怎麼辦？

1. 資料處理標準流程

2. 資料來源 (Data Sources)

3. 資料清理 (Data Cleaning) 關鍵任務

• 缺值處理 (Missing Values)：
• 說明：資料量夠大時用，處理數據集中缺少值的欄位，避免模型訓練時發生錯誤或偏差。
• 舉例：客戶名單中，某人沒填「年齡」。你可以選擇刪除此人、用所有人的平均年齡填補、或用迴歸模型預測他可能的年齡來填。

• 重複值處理 (Duplicates)：
• 說明：找出並移除完全相同的多筆數據紀錄，確保每筆資訊的唯一性。
• 舉例：你因為網路問題，重複送出了兩次相同的訂單資料，必須移除其中一筆，避免業績虛胖。

• 錯誤值 (Error/Invalid Value)：
• 說明：數據中的值不符合合理或邏輯範圍（如年齡為負數、產品價格標為$10$億）。
• 舉例：客戶註冊時，年齡欄位輸入了 -5，這明顯是個錯誤，必須修正或移除。

• 異常值 / 離群值（Outlier Value）：
• 說明：數據點明顯偏離大多數其他數據點，可能是錯誤但也可能代表特殊現象，需謹慎處理。
• 舉例：你店裡單日銷售額突然飆到平常的十倍。這可能是大單（特殊現象），但也可能是系統計錯了（錯誤），需要用箱型圖或Z-score檢查。

4. 資料異常偵測類型 (Data Anomaly Types)

• 點異常 (Point Anomaly)：
• 說明：單一、獨立的資料點與其他大部分數據點顯著不同。
• 舉例：你的信用卡在國外突然出現一筆高額刷卡，但前後都沒有任何異常交易或登入紀錄，就只有那單獨一筆交易怪怪的。

• 群體異常 (Collective Anomaly)：
• 說明：單獨看每個數據點都正常，但以序列或群組方式觀察時，整體模式異常。
• 舉例：你的健身 App 紀錄顯示，你連續兩週每天凌晨 3:00 準時完成 100 次仰臥起坐。單獨一次仰臥起坐很正常，但這種固定的、非人類作息的連續模式合起來看，就很可疑（可能是 App 故障或被盜用）。

• 情境異常 (Contextual Anomaly)：
• 說明：數據點在一般情況下正常，但在特定背景或時間範圍內就變得異常。
• 舉例：伺服器在凌晨三點流量暴增是異常；但聖誕節當天流量暴增卻是正常的。判斷異常需考慮「情境」。

第三步：翻譯工程——如何讓 AI 看懂「顏色」與「文字」？

1. 特徵工程的本質：翻譯官的藝術

• ① 特徵選擇 (Feature Selection) —— 減法的藝術
• 概念：不是資料越多越好，問自己「哪些資訊，值得拿來參考？」，刪除不重要或重複的特徵。
• 監督式特徵選擇 (Supervised)：根據「過去結果」來決定。
• 邏輯：「根據過去有沒有成功，來決定哪些資訊以後要繼續看。」
• 非監督式特徵選擇 (Unsupervised)：不看結果，只看「特徵本身」。
• 邏輯：「這些特徵彼此很像、很重複（如體重 kg 和體重 lb），我先刪一些。」

• ② 特徵轉換 (Feature Transformation) —— 變形的藝術 (Meaning)
• 概念：原始資料往往不夠直觀，需要轉換出「意義」。
• 舉例：資料庫裡有「出生日期」，但對預測消費習慣來說，「年齡」或「是否為本月壽星」才是更有意義的特徵。

• ③ 特徵交叉 (Feature Interaction) —— 加法的藝術 (Context)
• 概念：有些訊息，單一特徵根本不存在，是「一起出現才成立」。
• 舉例：單看「下午」沒什麼特別，單看「假日」也還好。但當「假日」+「下午」交叉在一起，可能就代表了「逛街高峰」，這對預測人流至關重要。

2. 常見的資料前處理技術

• ETL (Extract, Transform, Load)： 傳統資料整合流程。
• 1️⃣ Extract（提取）： 從資料來源擷取原始數據。
• 2️⃣ Transform（轉換）： 進行清洗、整合與格式轉換。
• 3️⃣ Load（加載）： 將處理後的資料載入目標系統（如資料倉儲）。

• 數據標註 (Data Labeling)：
• 說明：為輸入資料（圖片、文字等）手動貼上正確的「答案」或「標籤」，以訓練監督式學習模型。
• 舉例：你把 1000 張攝影作品給 AI 訓練，必須手動告訴 AI 每一張圖是「室內」還是「戶外」攝影，AI 才知道要學什麼。

• 數據縮減 (Data Reduction)：
• 說明：減少資料集的規模，例如透過刪除不重要的特徵（特徵選擇）或合併特徵（降維）。
• 舉例：你的客戶資料有 300 個欄位，但你只挑出年齡、性別、消費總額這 3 個欄位來訓練模型，以加快速度和避免過度複雜。

3. 數值型資料轉換 (特徵轉換)

• 標準化 (Standardization, Z-score)
• 說明：把「原始大小」轉成「相對位置」。將數據轉換成平均數為 0、標準差為 1 的分佈，適用於多個特徵尺度差異大的情況。
• 情境：小明考了 80 分（滿分 100），小美考了 9 分（滿分 10）。誰考得比較好？
• 解析：直接比分數不公平（80 > 9），因為滿分不同。Z-score 幫你把它們拉到同一個標準上比較（例如算出小美其實在全班排名前 1%，比小明更強）。

• 正規化 (Normalization, Min-Max scaling)
• 說明：將所有數據線性縮放到一個固定範圍內，通常是 [0, 1]，適用於要求固定範圍的場景。
• 舉例：將客戶的所有消費金額都縮放到 0 到 100 之間，讓模型知道「100」是消費最高的，而不是一個巨大的原始金額。

• 離散化 (Discretization / Binning)
• 說明：將連續的數值變數劃分成有限的區間或類別。
• 舉例：將客戶的「年齡」欄位，從連續數字轉換成「青年 (0-30)」、「中年 (31-59)」、「老年 (60+)」這三個離散的類別。

4. 類別資料編碼 (解決顏色的誤會)

• One-hot encoding
• 說明：將一個類別特徵轉換成多個二元 (0 或 1) 特徵，避免模型誤判類別間有數量關係。
• 舉例：想像你要告訴 AI 一件衣服的顏色（紅、黃、藍）。我們將「紅」轉成三個獨立的投票：紅=1, 黃=0, 藍=0。這樣 AI 就只知道「紅色的票開了」，不會誤以為「藍色 (3)」比「紅色 (1)」更好或更大。

• Label encoding
• 說明：將類別特徵轉換成連續的整數數值，通常適用於類別本身具有順序關係（如：大、中、小）。
• 舉例：想像你要告訴 AI 一個包裹的尺寸（小、中、大）。我們直接編碼成 小=0, 中=1, 大=2。這樣 AI 看到「2」時，就知道它比「0」或「1」大，完美保留了尺寸的順序關係。

第四步：倉儲策略——資料該冰冰箱還是丟倉庫？

1. 資料儲存架構：怎麼存才好用？

2. 資料治理 (Governance)：怎麼管才不亂？

第五步：統計裁判——如何確定這不是運氣好？

1. 集中趨勢 (Central Tendency)—— 誰能代表這個群體？

2. 離散程度 (Dispersion) —— 大家夠不夠團結？

3. 分布與抽樣：數據的形狀 (Distribution & Sampling)

• ① 常態分佈 (Normal Distribution)
• 說明：一種最常見的機率分佈，分佈圖形呈現左右對稱的鐘形。
• 舉例：大多數人的身高、智商、考試成績等，都會呈現這種分佈：中間最多，兩邊很少。

• ② 偏態分佈 (Skewness Distribution)
• 說明：衡量數據左右不對稱的程度。
• 種類：正偏（右偏，尾巴在右）、負偏（左偏，尾巴在左）。
• 舉例：公司產品價格通常是右偏（大部分便宜，極少數高價產品把尾巴拉長）。

• ③ 峰度 (Kurtosis)
• 說明：衡量數據的集中程度和尾部厚度（極端值多不多）。
• 特徵：高峰度代表數據很集中（尖），且尾部厚（有極端怪人）。
• 舉例：遊戲玩家在線時間非常集中在 2 小時，但偶爾有玩超久的狂人。

• ④ 抽樣與母體 (Sample & Population)
• 母體 (Population)：所有研究對象的總和（如：台灣所有大學生）。
• 樣本 (Sample)：被選出來測量的一小部分（如：被訪問的 100 人）。

• ⑤ 抽樣誤差 (Sampling Error)
• 說明：因為只看一部分（樣本），導致跟真實情況（母體）之間的落差。
• 舉例：調查滿意度 8 分，但真實全體只有 7.5 分，這 0.5 就是誤差。

3. 假設檢定 (Hypothesis Testing)：法庭審判的藝術

• Step ①：先假設 —— 被告無罪 (建立假設)
• 我們先假設狀態是「沒差別」、「無效」。
• 這在統計上稱為 虛無假設 (H0)。
• 商業情境：先假設新廣告跟舊廣告一樣，根本沒效。

• Step ②：找證據 —— 不可能是巧合吧？ (計算 p-value)
• 我們去計算「如果被告真的無罪，出現這麼多不利證據的機率是多少？」
• 這個機率就是 p 值 (p-value)。
• 商業情境：如果廣告真的沒效，那業績突然飆升 20% 的機率，是不是低得離譜？

• Step ③：下判決 —— 推翻無罪 (顯著水準)
• 如果 p 值 < 0.05 (證據顯示巧合的機率低於 5%)。
• 我們就敢拒絕無罪 (H0)，宣判有罪 (H1，對立假設)。
• 商業情境：機率太低了，不可能是運氣！所以我敢說新廣告「顯著有效」。

⚠️ 判決可能會出錯 (Type I & Type II Error)

4. 決策檢查點：該派哪位檢察官上場？

第六步：視覺溝通——如何讓老闆一眼看懂數據？

1. 分析類型 (Analytics Types)

• 敘述性分析 (Descriptive)
• 說明：總結和描述過去發生的數據情況，回答「發生了什麼？」。
• 舉例：這款商品上架至今的總銷售量是多少？；客戶的平均年齡是多少？

• 診斷性分析 (Diagnostic)
• 說明：深入挖掘數據，找出導致特定結果的根本原因，回答「為什麼會發生？」。
• 舉例：為什麼這個月的 App 活躍用戶下降了 15%？ 經過分析後，發現是因為上週的系統更新導致某個核心功能無法使用。

• 預測性分析 (Predictive)
• 說明：使用統計模型或機器學習來預測未來可能發生的結果，回答「未來可能發生什麼？」
• 舉例：根據過去的數據，預測下個月的新用戶註冊數量會是多少？預測某個客戶流失的機率有多高？

• 規範性分析 (Prescriptive)
• 說明：在預測未來的基礎上，進一步建議最佳的行動方案，回答「我們應該怎麼做？」。
• 舉例：系統建議：「為了最大化點擊率，你應該將這篇廣告在週二早上 10 點發佈，並對特定年齡層用戶投放。」

2. 進階視覺化：高維降維 (Dimensionality Reduction)

• 視覺化工具： Excel、Tableau、Power BI、Python (Matplotlib, Seaborn)
• 說明：用於創建圖表和儀表板，將數據洞察轉化為易於理解的視覺形式的軟體或函式庫。
• 舉例：你使用 Tableau 製作一個即時更新的客戶儀表板，隨時監控客戶的行為趨勢。

3. 決策檢查點：圖表該選哪一張？

第七步：安全紅線——能力越強，責任越大？

1. 隱私原則與法規

• 隱私原則：
• 說明：資料收集、儲存、使用必須遵循的倫理與法律規範，確保不濫用個人資訊。
• 舉例：企業只能收集「完成交易」所需最少的客戶資訊，且不能把客戶電話用於非交易目的的廣告。

• 法規規範：
• 說明：規範企業如何處理個人資料的法律，違規將面臨巨額罰款。
• 舉例：GDPR（歐盟）賦予用戶「被遺忘權」；台灣個資法規範企業必須告知客戶資料會被用在哪裡。

2. 隱私保護技術

• 去識別化/匿名化
• 說明：移除或修改個人識別資訊 (PII)，使資料無法追溯到特定個體。
• 舉例：你將客戶名單中的「姓名、電話」欄位全部刪除或替換成一個隨機代號，這樣即使資料外洩，也沒人知道是哪個客戶。

• 加密 (Encryption)
• 說明：將資料轉換成無法讀取的亂碼格式，只有擁有金鑰才能解密。
• 舉例：你把客戶的重要交易紀錄存到雲端資料庫時，必須對它進行加密保護，這樣即使駭客拿到檔案，看到的也只是一堆亂碼。

• 差分隱私 (Differential Privacy)
• 說明：在數據集中故意加入數學雜訊，讓單一資料點被隱藏，但整體統計趨勢不變。
• 舉例：你問大家是否贊成某個政策，為了保護個人意見，你在每個人的回答中隨機加入一點點「是」或「否」的雜訊，總體統計結果仍準確，但無法確定任何一個人的真實答案。

• 聯邦學習 (Federated Learning)
• 說明：將模型訓練的過程分散到多個用戶的本地設備上，只有模型參數（而不是原始數據）會被傳回中心伺服器。
• 舉例：你手機的輸入法預測不斷學習你的打字習慣，但你的打字內容永遠不會離開你的手機，只會將學習到的「規律」傳回雲端。

結語

• Garbage In，Garbage Out —— 數據品質決定了 AI 能看見什麼樣的世界

• 特徵工程是翻譯的藝術 —— 把「日期」變成「是否為聖誕節」，才是真正有意義的訊號

• 統計是理性的盔甲 —— 用 p-value 與假設檢定武裝自己，不再被直覺或運氣牽著鼻子走

• 視覺化是溝通的語言 —— 一張圖表勝過千言萬語，再精密的分析也要能讓人秒懂