iPAS 模型調整與優化 (Model Tuning) 深度筆記

 

機器學習技術與應用 | 單元 5.4 核心主題解析

快速導覽：

一、 參數 vs. 超參數：誰來決定？ 基本功

區分這兩者是理解模型優化的第一步。

類別定義例子決定者
參數 (Parameters)模型內部的配置，從資料中學習而得。神經網路權重、線性回歸係數。演算法/資料
超參數 (Hyperparameters)模型外部的設定，在訓練前手動指定。學習率、K-Fold 的 K、隱藏層數。工程師 (你)

二、 超參數調優方法 (Hyperparameter Tuning) 必考工具

如何在茫茫設定中找到最優組合？

  • 網格搜尋 (Grid Search)： 窮舉所有可能的排列組合。
    缺點： 非常耗時（計算量隨參數增加呈指數成長）。
  • 隨機搜尋 (Random Search)： 在參數空間隨機採樣。
    優點： 通常比網格搜尋更有效率，能更快發現重要的參數範圍。
  • 貝氏優化 (Bayesian Optimization)： 根據先前的測試結果，預測下一組可能更好的參數。
    優點： 效率最高，適合計算昂貴的大型模型。

三、 解決過擬合 (Overfitting) 的實戰策略 應用大題

當訓練集效果很好，但測試集很差時（高變異），你該怎麼辦？

過擬合應對檢查表：
  • 資料層面： 增加訓練資料量 (More Data)、資料增強 (Data Augmentation)。
  • 模型層面： 降低模型複雜度（減少層數或神經元）、早停法 (Early Stopping)。
  • 技術層面： 使用正則化、Dropout、整合學習 (Ensemble Learning)。

四、 正則化技術 (Regularization) 數理邏輯

透過在損失函數中加入一個「懲罰項」，限制權重的大小，避免模型太「偏激」。

4.1 L1 正則化 (Lasso)

特性： 會將不重要的特徵權重變為 0。

用途： 除了防過擬合，還兼具 「特徵選擇」 的功能。

4.2 L2 正則化 (Ridge)

特性： 會讓權重變小（趨近於 0），但不會等於 0。

用途： 使模型變得平滑，對所有特徵都有一定的保留，是目前最常用的正則化方式。

五、 深度學習特有優化技巧 工程實務

5.1 丟棄法 (Dropout)

訓練時隨機讓部分神經元「罷工」。這強迫模型不能過度依賴特定神經元，增加魯棒性 (Robustness)。

5.2 批次正規化 (Batch Normalization)

將每一層的輸出進行標準化。
好處： 加快收斂速度、穩定訓練過程、減少對初始值的敏感度。

5.3 早停法 (Early Stopping)

監控驗證集的損失。一旦驗證集損失開始上升（代表開始過擬合），就提前結束訓練。

🚩 考前速記口訣

  • 🔸 超參數： 訓練之前先給定，學習率跟層數定。
  • 🔸 L1 Lasso： 絕對值懲罰，特徵變零去參加。
  • 🔸 L2 Ridge： 平方懲罰，權重變小不歸零。
  • 🔸 解決過擬合： 減層數、加資料、Dropout、L1/L2 來一套。
  • 🔸 Early Stop： 驗證集開始爛，趕快收手不練了。

© iPAS AI 應用規劃師應考筆記系列 | 本內容參照科目三「機器學習技術與應用」學習指引

Read More »
on 沒有留言:
Labels: , ,

iPAS 模型訓練、評估與驗證 (Training & Evaluation) 深度筆記

 

機器學習技術與應用 | 單元 5.3 核心主題解析

快速導覽：

一、 資料集切分：三段論法 必考觀念

為了確保模型的泛化能力，我們不能在「看過」的資料上評估模型。

1.1 三大子集的功能

  • 訓練集 (Training Set)： 用於調整模型權重（參數）。比例通常佔 70-80%。
  • 驗證集 (Validation Set)： 用於 「超參數調優」 或模型選擇。它不參與訓練，但參與「決策」。
  • 測試集 (Test Set)： 模型「期末考試」。完全獨立，用於衡量模型在真實世界的效能。
應試陷阱：

測試集絕對不能參與模型的訓練或參數選擇！如果測試集的結果反過來影響了參數調整，這稱為「資料洩露 (Data Leakage)」，會導致評估結果過於樂觀。

二、 驗證策略 (Validation Strategy) 方法論

當資料量不足或需要更穩定的評估時，必須使用特殊的驗證技巧。

2.1 K-折交叉驗證 (K-Fold Cross-Validation)

作法： 將資料均分為 K 份，輪流拿 1 份當驗證集、其餘 K-1 份當訓練集。最後取平均效能。

優點： 降低單次切分資料造成的隨機誤差，對小樣本特別有用。

2.2 分層採樣 (Stratified Sampling)

場景： 用於資料 「類別不平衡」 時。例如信用卡詐騙案件極少，分層採樣可確保訓練集與驗證集中的詐騙比例與原資料一致。

三、 分類模型評估指標 計算題重鎮

這是考試中最常出現計算題的地方，必須熟記混淆矩陣 (Confusion Matrix)。

指標公式白話解釋
準確率 (Accuracy)$(TP+TN) / Total$全部預測對的比例（資料不平衡時無效）。
精確率 (Precision)$TP / (TP+FP)$預測為真 裡面，有多少是真的？（別誤殺）
召回率 (Recall)$TP / (TP+FN)$實際上為真 裡面，有多少被抓出來？（別放過）
F1-Score$2 \times \frac{Pre \times Rec}{Pre + Rec}$精確與召回的「調和平均」，綜合評價。
ROC 曲線與 AUC 指標：
  • ROC： 橫軸是偽陽率 (FPR)，縱軸是真陽率 (TPR)。
  • AUC： ROC 曲線下的面積。AUC = 1 是完美模型；AUC = 0.5 是隨機猜測。**AUC 的優點是不受分類閾值 (Threshold) 影響。**

四、 回歸模型評估指標 連續數值

當目標是連續數字（如房價）時，使用的指標與分類不同。

  • MAE (平均絕對誤差)： 誤差的絕對值平均。直觀，對異常值較具容忍性。
  • MSE (均方誤差)： 誤差平方的平均。**會放大大的誤差**，因此模型會對極端錯誤非常敏感。
  • RMSE (均方根誤差)： MSE 開根號。單位與原資料一致，利於解讀。
  • $R^2$ (決定係數)： 介於 0~1。代表模型能解釋目標變異的百分比。愈接近 1 愈好。

五、 模型穩定性與監控 進階治理

模型在線上運行一段時間後，效能會下降，這需要持續監控。

5.1 模型衰退與漂移 (Drift)

  • 概念漂移 (Concept Drift)： 特徵與目標的關係變了（例如疫情後消費習慣改變）。
  • 數據漂移 (Data Drift)： 輸入資料的分佈變了（例如新地區的用戶特徵與舊地區不同）。

🚩 考前速記口訣

  • 🔸 驗證三兄弟： 訓練學知識，驗證調參數，測試定生死。
  • 🔸 K-Fold： 輪流當考官，平均最心安，樣本少時最好辦。
  • 🔸 分類指標： 怕誤報看精確 (Precision)，怕遺漏看召回 (Recall)，兩者都愛看 F1。
  • 🔸 ROC-AUC： 曲線愈凸性能優，面積愈大模型牛，不受門檻 (Threshold) 左右走。
  • 🔸 回歸指標： 平方 (MSE) 放大錯，根號 (RMSE) 單位合，$R^2$ 看解釋。

© iPAS AI 應用規劃師應考筆記系列 | 本內容參照科目三「機器學習技術與應用」學習指引

Read More »
on 沒有留言:
Labels: , ,

iPAS 模型選擇與架構設計 (Model & Architecture) 深度筆記

 

機器學習技術與應用 | 單元 5.2 核心主題解析

快速導覽：

一、 模型選擇的基本原則 規劃核心

模型選擇並非越複雜越好，而是要根據「資料量」、「問題類型」與「部署環境」來決定。

1.1 考量因素

  • 問題本質： 分類 (Classification)、回歸 (Regression) 還是分群 (Clustering)？
  • 資料量大小：
    • 資料少：選簡單模型（如線性回歸、SVM），避免過擬合。
    • 資料多：選深層網路（如 Transformer、CNN），提取複雜特徵。
  • 解釋性需求： 醫療、金融領域優先選「白箱模型」（如決策樹、邏輯回歸）；純準確率導向選「黑箱模型」（如深度學習）。

二、 偏差與變異的權衡 (Bias-Variance Tradeoff) 必考原理

這是衡量模型效能最基礎的理論架構。

術語說明現象解決方案
高偏差 (High Bias)模型太簡單，沒學到資料規律。欠擬合 (Underfitting)增加特徵、增加模型複雜度。
高變異 (High Variance)模型太複雜，學到了雜訊。過擬合 (Overfitting)增加資料、正則化 (L1/L2)、Dropout。
奧卡姆剃刀原則 (Occam's Razor)：

如果兩個模型具有相似的解釋能力（預測效果），應該選擇較簡單的那一個。簡單模型通常具有更好的泛化能力 (Generalization)。

三、 常用網路架構類型 技術選型

在設計 AI 系統時，必須了解不同架構的適用範疇。

3.1 卷積神經網路 (CNN)

特性： 具備卷積層與池化層，擁有「平移不變性」。

場景： 電腦視覺 (CV)、影像分類、物件偵測。

3.2 循環神經網路 (RNN / LSTM)

特性： 具備記憶性，處理序列資料。

場景： 時間序列預測、語音辨識（雖然目前多被 Transformer 取代）。

3.3 Transformer 架構

特性： 注意力機制 (Attention)。平行運算能力強，處理長距離依賴效果好。

場景： 自然語言處理 (NLP)、大語言模型 (LLM)。

四、 模型架構優化技術 效能調整

如何在保持準確率的同時，讓模型更快、更輕量？

  • 超參數調優 (Hyperparameter Tuning)：
    手動調整學習率 (Learning Rate)、批次大小 (Batch Size)、層數。
    方法： 網格搜尋 (Grid Search)、隨機搜尋 (Random Search)。
  • 模型壓縮 (Compression)：
    • 權重剪枝 (Pruning)： 移除影響小的神經元權重。
    • 量化 (Quantization)： 將 32-bit 浮點數轉為 8-bit 整數，加速推論。
    • 知識蒸餾 (Distillation)： 大模型 (Teacher) 指導小模型 (Student)。

五、 部署考量：雲端 vs. 邊緣 (Edge) 應用規劃

架構設計必須考慮推理 (Inference) 的執行位置。

部署位置優點缺點適用情境
雲端 (Cloud)運算力強、可處理複雜大模型。依賴網路、延遲高、隱私疑慮。大數據分析、生成式 AI。
邊緣 (Edge)低延遲、省頻寬、資料不出在地。運算資源有限（記憶體/功耗）。自駕車、工廠設備監控。

🚩 考前速記口訣

  • 🔸 模型選擇： 簡單勝過複雜，除非資料量大，解釋性要先看。
  • 🔸 偏差變異： Bias 高是學不動，Var 高是學太過，平衡點在中間過。
  • 🔸 Transformer： 注意力是關鍵，平行計算快，NLP 當老大。
  • 🔸 優化手段： 剪枝、量化、蒸餾，三招讓模型變瘦變快。
  • 🔸 邊緣運算： 及時反應不求雲，省電省時保隱私。

© iPAS AI 應用規劃師應考筆記系列 | 本內容參照科目三「機器學習技術與應用」學習指引

Read More »
on 沒有留言:
Labels: , ,

iPAS 數據準備與特徵工程 (Feature Engineering) 深度筆記

 

機器學習技術與應用 | 單元 5.1 核心主題解析

快速導覽：

一、 資料清理：垃圾進，垃圾出 (GIGO) 基本原則

資料清理是整個機器學習流程中耗時最長（約 70-80%）但最重要的步驟。

1.1 主要任務

  • 重複值處理： 刪除重複的紀錄，避免模型給予特定樣本過高權重。
  • 異常值偵測 (Outlier Detection)： 識別並處理極端錯誤數據。
    • 方法：3倍標準差、IQR (四分位距法)、箱型圖視覺化。
  • 一致性檢查： 確保單位（米 vs 公分）、日期格式、類別名稱統一。

二、 缺失值處理技術 (Imputation) 高頻考點

實務資料常有缺漏，處理方式會直接影響模型穩定性。

處理策略適用場景優缺點
直接刪除 (Deletion)缺失比例極低（< 5%）。最簡單，但可能遺失重要資訊。
均值/中位數插補數值型資料、分佈較均勻。簡單快，但會低估數據變異。
眾數插補類別型資料。保留類別特性，但易產生偏誤。
模型插補 (K-NN/Iterative)缺失具相關性。準確度高，但計算成本大。
考點提示：

並非所有缺失都應插補。有時缺失本身就是一個「特徵」（例如：未填寫信用卡額度可能代表該客戶沒有信用卡），此時可將缺失值標記為一個獨立的類別（如 "Unknown"）。

三、 類別資料編碼 (Encoding) 轉換邏輯

機器學習模型只能理解「數字」，因此文字類別必須轉換。

  • 標籤編碼 (Label Encoding)：
    將類別轉為 0, 1, 2...。
    限制： 適合有「順序性」的資料（如：小、中、大）。若用於無順序資料（如：紅、藍），模型會誤以為「藍(1) > 紅(0)」。
  • 獨熱編碼 (One-Hot Encoding)：
    為每個類別建立新欄位。
    限制： 類別太多時會導致「維度災難」，造成矩陣極度稀疏。

四、 特徵縮放 (Scaling) 與 數據轉換 必考原理

不同特徵的單位（量綱）差異過大時，會導致模型訓練困難。

技術名稱公式邏輯特性與建議
最小最大縮放 (Min-Max)$(x-min)/(max-min)$將資料壓縮至 [0, 1]。對異常值極敏感。
標準化 (Standardization)$(x-\mu)/\sigma$轉為平均 0、標準差 1。適用於梯度下降與 SVM。
對數轉換 (Log Transform)$log(x)$處理 「長尾分佈」，使其趨近常態分佈。
為什麼要縮放？

若特徵 A 範圍是 0-10000，特徵 B 是 0-1。在計算「距離」（如 KNN）或進行「梯度下降」時，特徵 A 會主導整個權重更新，導致模型無法學習特徵 B 的細微變化。

五、 特徵選擇與降維 效能優化

過多的特徵會導致模型過擬合且訓練慢，必須進行精簡。

5.1 三大特徵選擇法

  • 過濾法 (Filter)： 透過統計指標（如相關係數、卡方檢定）。速度最快，與模型無關。
  • 包裹法 (Wrapper)： 使用特定模型不斷試錯（如遞歸特徵消除 RFE）。準確但計算極慢。
  • 嵌入法 (Embedded)： 訓練時自動篩選。典型例子：L1 正則化 (Lasso)。

🚩 考前速記口訣

  • 🔸 缺失值： 少則刪、多則補，類別用眾數，數值看中位。
  • 🔸 編碼選用： 有序 Label (0,1,2)，無序 One-Hot (001,010)，類別太多 One-Hot 爆。
  • 🔸 特徵縮放： KNN、SVM 必縮放，樹狀模型 (Tree) 沒影響，異常值多用標準化。
  • 🔸 長尾分佈： 資料太歪偏一邊，取個 Log 變常態。
  • 🔸 特徵篩選： L1 Lasso 創稀疏（刪除），自動挑出好特徵。

© iPAS AI 應用規劃師應考筆記系列 | 本內容參照科目三「機器學習技術與應用」學習指引

Read More »
on 沒有留言:
Labels: , ,

iPAS 深度學習原理與框架 (Deep Learning) 深度筆記

 

機器學習技術與應用 | 單元 4.3 核心主題解析

快速導覽：

一、 神經網路基礎組件 必考核心

深度學習是受生物神經系統啟發的分層結構，其核心在於「權重學習」。

1.1 基本架構

  • 輸入層 (Input Layer)： 接收特徵向量（如影像像素）。
  • 隱藏層 (Hidden Layers)： 多層結構。層數越多，模型越「深」，能學習越複雜的非線性特徵。
  • 輸出層 (Output Layer)： 產生最後預測（如分類標籤）。
  • 權重 (Weights) 與 偏差 (Bias)： 模型要調整的參數。
全連接層 (Fully Connected Layer, FC)：

每一層的每個神經元都與下一層的所有神經元連接。參數數量多，容易過擬合。在卷積神經網路 (CNN) 中，FC 通常放在網路末端進行最後的決策。

二、 反向傳播與自動微分 計算原理

神經網路如何「學習」？答案是靠梯度下降與反向傳播 (Backpropagation)。

2.1 反向傳播流程

  1. 前向傳播 (Forward Pass)： 輸入進入網路，計算預測值與損失函數 (Loss)。
  2. 計算梯度： 利用 連鎖律 (Chain Rule)，從輸出層往輸入層方向，計算 Loss 對每個權重的偏微分。
  3. 更新權重： 根據梯度方向微調參數，減少誤差。
梯度消失 (Vanishing Gradient) 問題：

當層數太深，且使用 Sigmoid 等函數時，梯度在連鎖律相乘過程中會趨近於 0，導致前面幾層學不動。這是推動 ReLU 函數 普及的主因。

三、 常用激發函數 (Activation Functions)

激發函數賦予了神經網路「非線性」表達能力，否則再多層疊加也只是線性組合。

名稱公式特性應用場景優缺點
Sigmoid輸出 [0, 1]二元分類輸出層。易產生梯度消失。
Tanh輸出 [-1, 1]隱藏層（中心點為 0）。效果優於 Sigmoid，但仍有梯度消失風險。
ReLU$max(0, x)$隱藏層主流首選。計算快、減緩梯度消失。有 "Dead ReLU" 問題。
Softmax總和為 1多分類輸出層。將輸出轉為機率分佈。

四、 深度學習框架比較 工程實務

規劃 AI 應用時，選擇合適的開發工具至關重要。

4.1 主流框架對照

  • TensorFlow (Google)：
    • 優點：生態系完整、部屬工具 (TF Serving, TF Lite) 強大。
    • 特色：早期為靜態圖 (Static Graph)，現已支援動態。
  • PyTorch (Meta)：
    • 優點：語法 Pythonic、**動態圖 (Dynamic Graph)** 易於偵錯、學術界主流。
    • 特色：靈活性高，適合快速原型開發。
  • Keras： 高階 API（可運行於 TF 之上），極度簡化模型搭建流程，適合初學者。

五、 硬體加速與計算資源

深度學習需要龐大的張量運算量，傳統 CPU 已無法應付。

硬體類型全名定位與特色
CPU中央處理器處理複雜邏輯，不擅長大規模平行運算。
GPU圖形處理器深度學習主力。擁有數千核心，極擅長矩陣平行計算。
TPU張量處理器Google 專為機器學習設計的 ASIC。在雲端大規模訓練效率極高。
NPU/Edge AI神經處理器專為「推論」設計，低功耗，常用於手機或邊緣裝置。

🚩 考前速記口訣

  • 🔸 反向傳播： 連鎖律是靈魂，梯度往回傳，權重跟著換。
  • 🔸 激發函數： 二分 Sigmoid、多分 Softmax、中間一律用 ReLU。
  • 🔸 梯度消失： 層數太深 Sigmoid，梯度不見模型呆。
  • 🔸 框架選擇： 研究開發用 PyTorch，大規模部署 TensorFlow。
  • 🔸 運算硬體： 平行計算靠 GPU，專屬訓練選 TPU，省電推論看 NPU。

© iPAS AI 應用規劃師應考筆記系列 | 本內容參照科目三「機器學習技術與應用」學習指引

Read More »
on 沒有留言:
Labels: , ,

iPAS 常見機器學習演算法 (ML Algorithms) 深度筆記

 

機器學習技術與應用 | 單元 4.2 核心主題解析

快速導覽：

一、 線性模型：統計學的基石 必考指標

線性模型是解釋性最強的模型，也是處理結構化資料的首選入門方法。

1.1 線性回歸 (Linear Regression)

原理： 尋找一條直線 $y = wx + b$，最小化預測值與實際值的殘差平方和 (MSE)。

限制： 假設資料呈線性關係，對異常值 (Outliers) 敏感。

1.2 邏輯回歸 (Logistic Regression)

原理： 雖名為回歸，實則用於 「分類」。透過 Sigmoid 函數將線性輸出映射到 [0, 1] 之間，代表機率。

優點： 運算快、輸出具機率意義、模型參數具解釋性。

二、 決策樹與集成學習 (Ensemble Learning) 高頻考點

這是目前實務上處理「表格資料 (Tabular Data)」效能最強大的家族。

核心概念對照：
技術說明核心機制
決策樹 (Decision Tree)透過資訊增益 (Information Gain) 或 Gini 指數切割資料。易過擬合，解釋性極佳。
隨機森林 (Random Forest)Bagging 策略。並行訓練多棵樹，最後投票決定。降低變異 (Variance)，防止過擬合。
提升法 (Boosting)串行訓練。後一棵樹學習前一棵樹的 殘差 (Error)。如 XGBoost, LightGBM, CatBoost。

三、 支持向量機 (SVM) 與 K-近鄰 (KNN)

3.1 支持向量機 (SVM)

原理： 尋找一個超平面 (Hyperplane)，使兩類資料間的 間隔 (Margin) 最大化。

關鍵字： 核函數 (Kernel Trick) — 將低維不可分資料投射到高維空間。適合小樣本、高維度資料。

3.2 K-近鄰演算法 (KNN)

原理： 惰性學習 (Lazy Learning)。預測時計算與鄰居的距離（如歐式距離），「近朱者赤」。

缺點： 計算量隨資料量增加而劇增，且受特徵量綱（單位）影響大（需做正規化）。

四、 無監督學習：分群與降維 探索性分析

當資料沒有標籤 (Label) 時使用的演算法。

K-Means 分群：
  1. 隨機初始化 K 個中心點。
  2. 將每個點分配給最近的中心。
  3. 重新計算中心點位置，直到收斂。

※ 注意：需事先指定 K 值，且對初始值敏感（常使用 K-Means++ 改善）。

4.2 主成分分析 (PCA)

原理： 線性降維。尋找資料變異最大的方向，將高維資料投影過去。目的：減少特徵數、去除雜訊、資料視覺化。

五、 演算法選擇情境對照表 決策必讀

應用情境建議演算法關鍵原因
預測房價、氣溫線性回歸、XGBoost (Regression)預測連續數值。
垃圾郵件、腫瘤辨識邏輯回歸、隨機森林、SVM二元分類任務。
電商客戶分眾K-Means, 層次聚類探索隱藏群體。
手寫文字、高維影像深度學習 (CNN)、SVM (Kernel)特徵極度複雜且非線性。
表格資料且求極致準度XGBoost / LightGBMBoosting 家族在結構化資料表現最優。

🚩 考前速記口訣

  • 🔸 線性回歸： 直線擬合預測數值，怕極端值愛線性。
  • 🔸 邏輯回歸： 名字騙人實分類，機率輸出好解釋。
  • 🔸 隨機森林： 森林投票防過擬，平行訓練效率高。
  • 🔸 XGBoost： 一棵補一棵殘差，當今表格最強者。
  • 🔸 SVM： 間隔最大超平面，核函數投射高維。
  • 🔸 KNN： 隔壁鄰居誰最多，算距離前要縮放。
  • 🔸 K-Means： 找中心分群組，K 值多少要先說。

© iPAS AI 應用規劃師應考筆記系列 | 本內容參照科目三「機器學習技術與應用」學習指引

Read More »
on 沒有留言:
Labels: , ,

iPAS 機器學習原理與技術 (ML Principles) 深度筆記

 

機器學習技術與應用 | 單元 4.1 核心主題解析

快速導覽：

一、 機器學習的三大範式 必考核心

根據資料是否有「標籤 (Label)」以及與環境的互動方式，可分為以下三類：

類型資料特徵目標代表場景
監督式 (Supervised)有標籤 (Input + Label)學習對映函數 $y = f(x)$。房價預測、垃圾郵件分類。
無監督式 (Unsupervised)無標籤 (只有 Input)找出資料內在結構或分群。客戶分群、異常檢測。
強化學習 (Reinforcement)環境回饋 (Reward)學習在特定狀態下的最優決策。AlphaGo、自動駕駛。

二、 監督式學習經典演算法 高頻考點

規劃師需了解不同演算法的優缺點，以根據需求選擇模型。

2.1 線性回歸與邏輯回歸

  • 線性回歸 (Linear Regression)： 預測「連續型」數值。
  • 邏輯回歸 (Logistic Regression)： 雖然叫回歸，但用於「分類任務」。透過 Sigmoid 函數將輸出映射至 0~1。

2.2 支撐向量機 (SVM)

尋找一個最優超平面 (Hyperplane)，使兩類資料間的 邊界 (Margin) 最大化。若資料線性不可分，可使用「核函數 (Kernel Trick)」映射到高維空間。

2.3 決策樹 (Decision Tree)

基於屬性測試的樹狀結構。優點是 具高度可解釋性。缺點是單一樹模型容易 過擬合 (Overfitting)。

三、 無監督式學習與降維技術

在沒有標準答案的情況下，如何發現規律？

核心技術：
  • K-Means 分群： 將樣本分為 K 個簇，使簇內距離最小、簇間距離最大。須事先設定 K 值。
  • 主成分分析 (PCA)： 透過線性代數變換，將高維特徵投影至低維度，並保留最大變異量。
  • 關聯規則 (Association Rules)： 找出事件間的同時發生規律（如：尿布與啤酒）。

四、 模型評估指標與偏差-方差權衡 應試大熱點

如何判斷模型是好是壞？為什麼模型在訓練集很準，測試集卻很爛？

4.1 偏差 (Bias) vs 方差 (Variance)

  • 高偏差 (High Bias)： 模型太簡單，「學不會」，導致 欠擬合 (Underfitting)。
  • 高方差 (High Variance)： 模型太複雜，「背死書」，導致 過擬合 (Overfitting)。
分類任務評估指標 (混淆矩陣)：
  • 準確率 (Accuracy)： 答對的比例（樣本不平衡時不適用）。
  • 精確率 (Precision)： 預測為正樣本中，真正為正的比例（防錯殺）。
  • 召回率 (Recall)： 實際為正樣本中，被預測出來的比例（防漏抓）。
  • F1-Score： 精確率與召回率的調和平均（綜合指標）。

五、 集成學習 (Ensemble Learning) 效能巔峰

「團結力量大」，結合多個弱學習器來構建一個強學習器。

  • Bagging (自助聚合)： 並行訓練多個模型，最後投票或平均。代表：隨機森林 (Random Forest)。優點：降低方差，防止過擬合。
  • Boosting (提升法)： 串行訓練，後面的模型專注於修正前面模型的錯誤。代表：XGBoost, LightGBM。優點：大幅降低偏差，效能極佳。

🚩 考前速記口訣

  • 🔸 學習分類： 有標標看監督，無標標看分群，獎勵回饋強化行。
  • 🔸 SVM： 邊界最大化，核函數轉高維。
  • 🔸 決策樹： 雖然好解釋，小心過擬合。
  • 🔸 過擬合： 背得太認真，考試考不出 (低偏差、高方差)。
  • 🔸 集成學習： Bagging 森林並行跑，Boosting 專改錯中錯。
  • 🔸 評估指標： 樣本不均莫看準確率，F1 才是真朋友。

© iPAS AI 應用規劃師應考筆記系列 | 本內容參照科目三「機器學習技術與應用」單元 4.1

Read More »
on 沒有留言:
Labels: , ,

iPAS 數值優化技術 (Numerical Optimization) 深度筆記

 

機器學習技術與應用 | 單元 3.3 核心主題解析

快速導覽：

一、 優化的核心：損失函數與目標 必考定義

機器學習的過程本質上是在 「尋找一組參數 $w$，使得損失函數 $L(w)$ 達到最小值」。優化技術就是指引模型如何調整參數的方法。

1.1 常見損失函數 (Loss Functions)

  • 均方誤差 (MSE)： 常用於「回歸任務」。計算預測值與實際值之差的平方平均。
  • 交叉熵 (Cross-Entropy)： 常用於「分類任務」。衡量兩個機率分佈的差異，數值越小代表預測越準。
凸函數 (Convex Function) 的物理意義：

若損失函數是「凸」的，則 局部最小值 (Local Minimum) 就是全局最小值 (Global Minimum)，優化過程最為簡單。非凸函數（如深度神經網路）則容易陷入局部陷阱。

二、 梯度下降法 (Gradient Descent) 高頻考點

梯度代表函數上升最快的方向，因此「負梯度」方向就是下山最快的方向。

權重更新公式：
$w_{new} = w_{old} - \eta \cdot \nabla L(w)$
(其中 $\eta$ 為學習率，$\nabla L(w)$ 為梯度)

2.1 三種梯度下降策略比較

  • MBGD (小批量)
    • 策略說明優點缺點
    BGD (批量)使用「全量」資料計算梯度。路徑穩定，保證收斂。資料量大時計算極慢，記憶體溢出。
    SGD (隨機)隨機挑選「1 筆」資料計算。計算速度極快。路徑非常震盪，難以精確收斂。
    挑選「一小群 (Batch)」資料。工業界標準。兼顧穩定性與速度。需額外調整 Batch Size。

    三、 優化器進化：從 SGD 到 Adam 演算法進階

    為了克服基本 SGD 的收斂速度慢與震盪問題，科學家發展了多種進階優化器。

    • 動量法 (Momentum)： 模擬物理動量，保留先前的更新趨勢。優點：加速通過平坦區，抑制震盪。
    • AdaGrad： 「自適應」調整學習率。頻繁更新的參數學習率調低，稀疏參數調高。缺點：後期學習率趨於 0，導致訓練停止。
    • RMSProp： 解決 AdaGrad 學習率遞減過快的問題，只參考近期的梯度大小。
    • Adam： 目前最主流優化器。結合了「動量」與「自適應學習率」的優點。

    四、 學習率 (Learning Rate, $\eta$) 的影響

    學習率是 AI 訓練中最關鍵的「超參數 (Hyperparameter)」。

    學習率設置情境：
    • 學習率過大： 跨步過猛，會導致在最小值附近 震盪甚至發散，無法收斂。
    • 學習率過小： 步履蹣跚，訓練 速度極慢，且容易陷入局部最小值。
    • 學習率調度 (Scheduler)： 訓練初期大、後期小，是一種常見的優化策略。

    五、 正則化與防止過擬合 應試大熱點

    數值優化不僅要讓 Loss 變小，還要確保模型在測試集（未知資料）表現良好。

    5.1 過擬合 (Overfitting) vs. 欠擬合 (Underfitting)

    • 過擬合： 訓練 Loss 極低，測試 Loss 極高。模型「背死書」。
    • 欠擬合： 訓練與測試 Loss 都很高。模型「學不會」。
    正則化 (Regularization) 手段：
    • L1 正則化 (Lasso)： 增加絕對值權重懲罰。會產生「稀疏性」，起到 特徵選擇 的作用。
    • L2 正則化 (Ridge)： 增加平方權重懲罰。讓權重趨近於小數值，減少單一特徵的主導權，增加模型穩定性。
    • 早停法 (Early Stopping)： 當驗證集 Loss 開始上升時即停止訓練。

    🚩 考前速記口訣

    • 🔸 梯度下降： 梯度是上坡，負梯是下坡，沿著負梯找低窩。
    • 🔸 學習率： 大了會跳過、小了等太久，初期大、後期小最優秀。
    • 🔸 優化器： 傳統 SGD 慢悠悠，Adam 自動最省心。
    • 🔸 正則化： L1 刪特徵 (稀疏)，L2 縮權重，防止模型鑽牛角尖。
    • 🔸 批量選擇： 大 Batch 穩定但吃記憶體，小 Batch 震盪但速度快。

    © iPAS AI 應用規劃師應考筆記系列 | 本內容參照科目三「機器學習技術與應用」學習指引

    Read More »
    on 沒有留言:
    Labels: , ,
    訂閱： 意見 (Atom)
    >