iPAS AI 系統集成與部署 (Integration & Deployment) 深度筆記

人工智慧技術應用規劃 | 單元 5.2 核心主題解析

快速導覽：

1. AI 系統架構設計 (雲端 vs 邊緣)
2. 服務化與介面設計 (API/Microservices)
3. 容器化與編排技術 (Docker/K8s)
4. MLOps 與持續交付流程
5. 上線後的模型監控與維運

一、 AI 系統架構設計 (Cloud vs Edge) 高頻考點

規劃師必須根據應用場景（延遲需求、安全性、成本）選擇部署架構。

部署架構對照表：

架構類型	說明	優點	缺點
雲端部署 (Cloud)	模型運行在遠端高效能伺服器。	強大算力、易於管理維護、靈活擴展。	高延遲、頻寬需求大、資料隱私疑慮。
邊緣運算 (Edge)	模型運行在終端設備（如手機、感測器）。	即時性高、低頻寬成本、隱私保護性強。	算力受限、設備電力受限、模型更新難。
混合架構 (Hybrid)	邊緣進行預處理或初步推論，複雜任務傳回雲端。	平衡效能與隱私。	系統開發複雜度高。

二、服務化與介面設計 (API & Microservices)

AI 模型需透過標準化介面與現有系統集成，通常採用微服務架構以提升穩定性。

模型服務化 (Model as a Service)： 將模型封裝成 API（如 RESTful API 或 gRPC），供前端或後端呼叫。
異步處理 (Asynchronous)： 針對耗時較長的推論任務（如影片分析），採用訊息隊列（Message Queue）進行處理，避免系統阻塞。
微服務 (Microservices)： 將 AI 功能與主系統邏輯解耦，若 AI 服務當機，不影響主系統運作。

三、容器化與編排技術 (Docker/K8s)

為了解決「在我的電腦跑得動，但在伺服器跑不動」的問題，容器化是必備技術。

3.1 Docker 容器化

將 AI 模型及其依賴環境（Python 版本、CUDA 驅動、函式庫）打包成 鏡像 (Image)，確保環境一致性。

Kubernetes (K8s) 的角色：

當 AI 服務流量變大時，K8s 負責 自動擴縮 (Auto-scaling)、負載平衡及故障轉移。確保 AI 推論服務在高併發下仍能穩定提供服務。

四、 MLOps 與持續交付流程現代化維運核心

MLOps = ML + Dev + Ops。其目的是實現 AI 模型的自動化開發、測試、部署與監控。

4.1 CI/CD/CT 流程

CI (持續整合)： 自動化測試程式碼品質。
CD (持續部署)： 自動化將通過測試的模型部署至生產環境。
CT (持續訓練)： 當偵測到新資料或效能下降時，觸發模型自動重練（這是 AI 與傳統軟體最大的差異）。

五、上線後的模型監控與維運

模型上線後才是風險的開始，必須建立全方位的監控系統。

監控關鍵指標：

系統性能： CPU/GPU 使用率、推論延遲 (Latency)、回應成功率。
模型效能： 準確率 (Accuracy) 的下滑情況。
資料漂移 (Data Drift)： 即時輸入資料的分佈是否與訓練資料偏離？
概念漂移 (Concept Drift)： 問題本身的性質是否隨時間改變？（如：疫情期間大眾消費習慣改變）。

🚩 考前速記口訣

🔸 部署選擇： 雲端求算力，邊緣求速度，混合兩者兼顧。
🔸 集成技術： API 封裝模型，微服務解開依賴，Docker 鎖定環境。
🔸 K8s： 流量大了自動加，服務掛了自動補。
🔸 MLOps： 自動化、持續化，模型更新不求人。
🔸 監控關鍵： 效能掉、數據變、系統慢，隨時準備重練。

iPAS 數據準備與模型選擇 (Data Prep & Selection) 深度筆記

人工智慧技術應用規劃 | 單元 5.1 核心主題解析

快速導覽：

1. 資料清洗與預處理技術
2. 特徵工程 (Feature Engineering)
3. 資料增強與採樣策略
4. 模型選擇的決策邏輯
5. 學習任務與指標對齊

一、資料清洗與預處理技術必考基礎

「垃圾進，垃圾出 (GIGO)」是 AI 核心鐵律。資料預處理是為了將原始數據轉化為機器能理解的數學形式。

常見資料處理手法：

處理類型	技術名稱	說明
缺失值處理	插補法 (Imputation)	使用平均數、中位數或眾數填補缺失欄位。
量綱統一	標準化 (Standardization)	將數據縮放至均值為 0、標準差為 1 (Z-Score)。
量綱統一	歸一化 (Normalization)	將數據縮放至 [0, 1] 區間 (Min-Max)。
類型轉換	獨熱編碼 (One-Hot Encoding)	將類別型資料轉為 0 與 1 的向量（避免數值大小誤導）。

二、特徵工程 (Feature Engineering)

特徵工程是提升模型效能最有效的方法。它包含特徵的創造、提取與選擇。

特徵提取 (Extraction)： 從原始資料提取有用資訊（如從生日計算年齡）。
特徵選擇 (Selection)： 移除無關或冗餘的特徵，減少運算量。
降維 (Dimension Reduction)： 使用 PCA (主成分分析) 將高維資料投影至低維空間，保留最大變異量。

三、資料增強與採樣策略

當面臨資料不足或類別不平衡 (Imbalance) 時使用的技術。

3.1 資料增強 (Data Augmentation)

主要應用於影像與語音：旋轉、翻轉、縮放、裁切、增加噪聲。目的在於提升模型的 泛化能力 (Generalization)。

類別不平衡處理：

過採樣 (Oversampling)： 增加少數類別的樣本（如 SMOTE 演算法）。
欠採樣 (Undersampling)： 減少多數類別的樣本（易丟失資訊）。

四、模型選擇的決策邏輯情境題核心

模型選擇需在「複雜度」、「資料量」與「資源」之間取得平衡。

4.1 任務類型分類

回歸任務 (Regression)： 預測連續數值（如房價、氣溫）。
分類任務 (Classification)： 預測離散標籤（如垃圾郵件判定、腫瘤辨識）。
分群任務 (Clustering)： 無標籤資料自動分組（如客群分眾）。
生成任務 (Generation)： 產生新內容（如文字摘要、圖像生成）。

選擇原則：

小數據集： 優先考慮統計模型、決策樹、隨機森林。
大數據集/非結構化資料： 優先考慮深度學習 (CNN, RNN, Transformer)。
可解釋性需求： 選擇線性回歸、邏輯回歸、決策樹。

五、學習任務與指標對齊

在規劃階段，必須明確模型要最佳化的指標是什麼。

學習範式	說明	代表演算法
監督式學習	有標籤 (Label)，明確對錯。	線性回歸、SVM、神經網路
無監督式學習	無標籤，找出資料結構。	K-Means、PCA、關聯規則
強化學習	透過環境回饋 (Reward) 學習策略。	Q-Learning、DQN

🚩 考前速記口訣

🔸 數據處理： 缺了就插、大了就縮、雜了就清、類別 One-Hot。
🔸 特徵工程： PCA 降維減負擔，特徵創造靠靈感。
🔸 不平衡： 少類加、多類減、SMOTE 造出新夥伴。
🔸 模型選擇： 數值找回歸、類別找分類、沒標找分群。
🔸 大數據： 深度學習顯神威；小數據： 傳統模型不掉隊。

iPAS AI 風險管理 (Risk Management) 深度筆記

人工智慧技術應用規劃 | 單元 4.3 核心主題解析

快速導覽：

1. AI 風險的基本定義與分類
2. 技術層面風險與對策
3. 資料與隱私層面風險
4. 倫理、偏見與公平性
5. 法規合規與治理框架

一、 AI 風險的基本定義與分類

AI 風險管理不只是技術問題，更是法律、品牌與社會責任的整合。規劃師需具備識別「AI 特有風險」的能力。

特有性： 與傳統軟體相比，AI 具有不確定性、黑盒特性及資料依賴性。
生命週期風險： 從資料蒐集、模型訓練、部署到持續監控，每個階段都有不同風險。

二、技術層面風險與對策必考核心

技術性風險可能導致系統崩潰、判斷錯誤或遭受惡意攻擊。

核心技術風險對照表：

概念漂移 (Concept Drift)： 輸入與輸出之關係改變。

資料漂移 (Data Drift)： 輸入資料的分佈發生改變。

風險類型	現象說明	應對策略
對抗性攻擊 (Adversarial)	故意加入微小干擾使模型誤判。	對抗性訓練、輸入檢測與清洗。
模型漂移 (Model Drift)	隨時間推移，模型表現變差。	持續監控效能、定期模型重訓。
過擬合 (Overfitting)	模型太依賴訓練資料，泛化力差。	增加訓練資料量、正則化 (Regularization)。

三、資料與隱私層面風險

資料是 AI 的燃料，也是最大的法律風險來源。

3.1 資料外洩與重構風險

資料投毒 (Data Poisoning)： 攻擊者在訓練集混入假資料，影響模型行為。
成員推斷攻擊： 攻擊者透過 API 查詢，推斷某特定資料是否在訓練集中。
防禦技術：
- 差分隱私 (Differential Privacy)： 加入噪聲保護個資。
- 去識別化： 遮罩、雜湊 (Hashing)、去特徵標籤。

四、倫理、偏見與公平性管理師重點

AI 的決定如果不公平，會對企業品牌造成毀滅性打擊。

4.1 偏見 (Bias) 的來源

歷史偏見： 訓練資料本身反映了社會的不公平現象。
樣本偏見： 某類族群在資料集中數量過少 (Under-represented)。
標註偏見： 標註人員的主觀意識影響結果。

可解釋 AI (XAI) 的必要性：

在醫療、金融、法律等領域，AI 必須提供「解釋」(如：為何拒絕貸款？)，否則將面臨合規風險。常用工具如 LIME, SHAP。

五、法規合規與治理框架

規劃師需隨時關注國內外 AI 監管趨勢。

歐盟 AI 法案 (EU AI Act)： 根據風險等級（禁止、高、中、低）進行監管。
GDPR (個資法)： 強調被遺忘權及反對「純自動化決策」的權利。
台灣 AI 基本法草案： 強調誠信、透明、安全、創新與責任歸屬。

🚩 考前速記口訣

🔸 對抗攻擊： 雜訊干擾，誤導貓變狗。
🔸 資料投毒： 訓練下毒，後門偷偷留。
🔸 模型漂移： 舊模跑新數，效能往下掉。
🔸 差分隱私： 沒人看得出，個資保得住。
🔸 解釋 AI： 黑盒變透明，決策才服眾。

PAS AI 導入規劃 (Implementation Planning) 深度筆記

人工智慧技術應用規劃 | 單元 4.2 核心主題解析

快速導覽：

1. 資料蒐集與標註規劃
2. 模型選擇與算法規劃
3. 基礎設施與運算資源規劃
4. 專案時程與人力配置
5. 模型測試與驗證規劃

一、資料蒐集與標註規劃核心基礎

AI 專案的成功 80% 取決於資料。導入規劃必須明確資料的來源與處理流程。

1.1 資料生命週期管理

資料採集： 確定資料源（資料庫、感測器、網路爬蟲）及採集頻率。
資料清洗： 處理重複、缺失值、異常值及雜訊。
隱私去識別化： 規劃如何處理個資（如遮罩、雜湊），以符合法規。

標註策略 (Annotation Strategy)：

策略	說明	適用情境
人工標註	聘請專家或工讀生手動標記。	高品質需求、醫療/法律專業領域。
半監督標註	模型先預標註，人工再進行審核。	大規模資料、預算有限。
群眾外包	將任務發布至平台（如 MTurk）。	常識類任務（如圖中有幾隻狗）。

二、模型選擇與算法規劃

規劃師須根據業務需求選擇最適合的模型，而非盲目追求最先進 (SOTA) 的模型。

2.1 模型評選準則

性能指標： 準確率、精確率、召回率是否達標？
推論效率： 預測時間 (Latency) 是否符合實際應用（如即時檢測需 < 30ms）？
可解釋性： 業務端是否需要理解 AI 決策邏輯？（金融、醫療高度要求）。
可維護性： 模型是否易於重新訓練與更新？

三、基礎設施與運算資源規劃

根據預算與技術能力，決定運算環境的佈建策略。

雲端環境 (Cloud)

優點： 擴展性強、隨租隨用、無需硬體維護。
代表： AWS Sagemaker, Azure ML, GCP Vertex AI。

在地部署 (On-Premise)

優點： 資料安全性高、長期成本可能較低、低延遲。
適用： 機密研發單位、政府、半導體廠。

邊緣運算 (Edge Computing) 規劃：

若 AI 需部署於無網路環境或需極低延遲，需規劃模型壓縮技術（如 量化 Quantization、剪枝 Pruning）以適應嵌入式硬體。

四、專案時程與人力配置 PM 職能考點

AI 專案具有高度的不確定性，規劃時需預留迭代空間。

4.1 WBS (工作分解結構) 重點

環境建置： 算力資源與開發工具配置。
資料準備： 清洗與標註（通常佔比最長）。
原型開發 (PoC)： 驗證模型可行性。
整合測試： 模型與前端/後端系統整合。

4.2 團隊核心成員角色

資料科學家： 負責演算法設計與訓練。
資料工程師： 負責資料管道 (Pipeline) 的自動化與存儲。
AI 應用規劃師： 負責跨部門協調、定義需求、評估效益及風險。
領域專家 (SME)： 提供標註準則及驗證 AI 回答的正確性。

五、模型測試與驗證規劃

在正式上線前，必須確保模型的穩定性與邊界效能。

A/B Testing： 讓部分用戶用新模型，部分用舊系統，對比實際效益。
壓力測試： 測試高併發請求下系統的負荷能力。
反向測試 (Backtesting)： 使用歷史資料驗證模型預測結果。
對抗性測試： 故意輸入極端或攻擊性資料，檢查模型的防禦力。

🚩 考前速記口訣

🔸 資料規劃： 先採再洗標隱私，品質穩了才開始。
🔸 模型選擇： 準確、推論、解釋性，預算夠了再追新。
🔸 雲與邊緣： 雲端擴展快，邊緣反應快，在地最安全。
🔸 專案人力： 科學家練功、工程師搬水、規劃師領航。
🔸 測試驗證： A/B 測效益，壓力測耐力，歷史測準度。

iPAS AI 導入評估 (Implementation Evaluation) 深度筆記

人工智慧技術應用規劃 | 單元 4.1 核心主題解析

快速導覽：

1. AI 導入的需求分析
2. 可行性評估 (Feasibility Study)
3. 成本與效益分析 (ROI)
4. 導入策略與風險評估
5. 專案排序與決策準則

一、 AI 導入的需求分析

AI 導入的第一步不是選擇模型，而是確認 業務痛點 (Business Pain Points)。並非所有問題都需要用 AI 解決。

定義問題： 將業務目標轉化為 AI 任務（如：分類、回歸、生成）。
現狀評估 (As-Is)： 目前的流程效率、人力成本與錯誤率。
期望目標 (To-Be)： 導入 AI 後預期達成的具體關鍵指標 (KPI)。

二、可行性評估 (Feasibility Study) 必考核心

規劃師需從多維度判斷 AI 專案是否能成功落地。

可行性評估的三大維度：

維度	評估重點	應考關鍵字
資料可行性	資料量是否充足？品質是否良好？是否有標籤 (Label)？	資料孤島、標註成本、資料隱私
技術可行性	現有演算法能否達成準確率要求？硬體算力是否足夠？	模型成熟度、推論延遲、算力資源
經濟可行性	預期收益是否大於開發與運維成本？	ROI、TCO (總持有成本)

三、成本與效益分析 (ROI) 計算/分析題常客

企業導入 AI 最看重的是財務上的合理性。

3.1 TCO (Total Cost of Ownership) 總持有成本

除了開發費用，還須包含後續維運費用：

初期成本： 資料清洗、標註、模型研發、基礎設施 (GPU/Cloud)。
持續成本： 模型監控、資料漂移 (Data Drift) 修復、API 呼叫費、人力維護費。

3.2 投資報酬率 (ROI) 計算

ROI = (預期總收益 - 總投入成本) / 總投入成本 × 100%

效益分為兩類：

有形效益： 節省的人工工時、降低的廢料率、增加的營收。
無形效益： 提升品牌形象、優化客戶體驗、加速決策速度。

四、導入策略與風險評估

選擇正確的導入途徑 (Build vs. Buy) 是規劃師的職責。

自行開發 (Build)

優點： 具備核心競爭力、高度客製化。
缺點： 研發週期長、需要高階技術團隊、風險高。

採購/外包 (Buy/Outsource)

優點： 導入速度快 (Time-to-market)、技術風險低。
缺點： 難以客製化、資料外洩風險、受制於供應商。

常見風險與對策：

黑盒效應 (Explainability)： 若 AI 無法解釋，監管單位或業務單位難以接受。
法規遵循： 個資保護法 (GDPR/台版個資法) 的合規性。
資料安全： 防止模型遭受攻擊 (如 Adversarial Attacks) 或敏感資料洩漏。

五、專案排序與決策準則

當企業有多個 AI 提案時，應如何優先排序？

5.1 難易度-價值矩陣 (Priority Matrix)

Quick Wins (快贏專案)： 低難度、高價值。應優先執行。
Strategic Initiatives (戰略專案)： 高難度、高價值。適合長期規劃。
Low Priority： 高難度、低價值。應予捨棄。

🚩 考前速記口訣

🔸 需求分析： 痛點先行，AI 任務要看清。
🔸 可行性： 有資料、能技術、會賺錢 (資技經)。
🔸 TCO： 買模型不貴，標資料、養維運才貴。
🔸 Build vs Buy： 有競爭力自己蓋，要搶時機買現成。
🔸 ROI： 算清投入與回報，快贏專案排第一。

iPAS 多模態 AI (Multimodal AI) 深度筆記

人工智慧技術應用規劃 | 單元 3.4 核心主題解析

快速導覽：

1. 多模態 AI 基礎定義
2. 跨模態對齊與融合技術
3. 代表性模型架構 (CLIP / MLLM)
4. 核心應用場景評估
5. 多模態技術的未來挑戰

一、多模態 AI 基礎定義

多模態 AI (Multimodal AI) 指的是能夠處理、整合並理解 兩種或以上不同類型資料 (模態) 的人工智慧系統，例如：文本、影像、語音、視訊及感測器數據。

模態 (Modality)： 資訊發生或被感受到的特定方式。
目標： 模擬人類感官，實現「聽、看、說、讀」的一體化理解。

二、跨模態對齊與融合技術必考核心

如何將性質完全不同的資料（如像素與單字）放在同一個數學空間中運算，是多模態技術的關鍵。

2.1 聯合表示 (Joint Representation)

將不同模態的特徵投影到同一個 共享特徵空間。代表技術：CLIP (對比學習)。

多模態融合 (Fusion) 的三個層級：

融合層級	說明	優缺點
前期融合 (Early Fusion)	在特徵提取階段就合併資料（特徵層級）。	能捕捉低階關聯，但模態間差異大時難以對齊。
後期融合 (Late Fusion)	各模態獨立決定結果，最後再加權投票（決策層級）。	容錯性高，但忽略模態間的中期互動。
中期融合 (Intermediate)	在神經網路的中間層進行交互（如 Attention 運算）。	目前最主流，效果與靈活性平衡。

三、代表性模型架構中級鑑別點

3.1 CLIP (Contrastive Language-Image Pre-training)

由 OpenAI 提出，是現代多模態 AI 的基石。

核心： 對比學習 (Contrastive Learning)。
訓練方式： 給予大量「圖-文對」，拉近正確配對的距離，推開錯誤配對的距離。
應用： 實現了 Zero-shot 影像分類，不需要標籤即可識別新類別。

3.2 多模態大型語言模型 (MLLM / LMM)

架構組成

通常由 Vision Encoder (如 ViT) + Connector (如 Q-Former) + LLM (如 Llama) 組成。

代表模型

GPT-4o： 原生多模態，支援即時影音互動。
LLaVA： 開源界著名的視覺語言模型。
Gemini： Google 的原生多模態模型。

四、核心應用場景評估

iPAS 考試常考如何將技術落地於實際產業場景。

圖文检索 (Cross-modal Retrieval)： 用文字找圖，或用圖找相關描述。
視覺問答 (VQA)： 讓 AI 看圖回答問題 (如：圖中總共有幾個人？)。
自動圖說生成 (Image Captioning)： 描述影像內容，協助視障人士或內容檢索。
多模態情緒識別： 結合人臉表情 (視覺) + 語氣 (語音) + 字眼 (文本) 判斷使用者情緒。

視訊理解 (Video Understanding) 的挑戰：

除了視覺特徵，還需處理 時間序列 (Temporal) 資訊。常用架構包括 3D-CNN 或結合 Transformer 的時空注意力機制。

五、多模態技術的未來挑戰

計算成本： 處理高解析度影像與長序列文本需要極高算力。
資料偏差： 訓練用的「圖文對」可能存在性別或文化偏見。
推理一致性： 模型有時會發生「視覺幻覺」(如：看到不存在的物體)。
隱私與安全： 涉及臉部、語音等高敏感個資。

🚩 考前速記口訣

🔸 Multimodal： 聽說讀看，融合為一。
🔸 CLIP： 圖文對齊，空間共享，零樣本分類最強。
🔸 Fusion： 前期合特徵，後期合決策，中期合網路。
🔸 MLLM： 視覺當眼，語言當腦，Connector 連接兩端。
🔸 VQA： 看圖說話，問答自如。

iPAS 生成式 AI (Generative AI) 深度筆記

人工智慧技術應用規劃 | 單元 3.3 核心主題解析

快速導覽：

1. 生成式 AI 基礎定義
2. 核心模型架構對比
3. LLM 關鍵技術與微調
4. 提示工程 (Prompt Engineering)
5. 偏見、倫理與負面影響

一、生成式 AI 基礎定義

生成式 AI (GenAI) 是人工智慧的一支，旨在 創造新內容 (如文本、影像、音訊、程式碼)，而非僅僅對既有資料進行分類或預測。

判別式模型 (Discriminative)： 學習邊界，$P(y|x)$，用於分類 (如：這是不是貓？)。
生成式模型 (Generative)： 學習分布，$P(x,y)$ 或 $P(x)$，用於創造 (如：畫出一隻貓)。

二、核心模型架構對比必考核心

理解不同生成技術的運作邏輯是考試的基礎。

模型類別	運作邏輯	應考關鍵字
GAN (對抗網路)	生成器 (G) 與判別器 (D) 互相博弈	零和遊戲、容易訓練不穩
VAE (變分自編碼器)	將資料壓縮至潛在空間 (Latent) 再還原	機率分布、生成圖像較模糊
Diffusion (擴散模型)	透過逐步「加噪」與「去噪」過程生成	Stable Diffusion、逐步推論
Transformer	基於注意力機制處理序列資料	GPT、平行運算、長距離依賴

GAN 的組成細節：

生成器 (Generator)： 負責製造假資料騙過判別器。
判別器 (Discriminator)： 負責區分真資料與假資料。
平衡： 當判別器無法區分真假 (準率約 0.5) 時，代表模型訓練接近理想。

三、 LLM 關鍵技術與微調 (Fine-tuning)

大型語言模型 (LLM) 的效能不僅來自參數量，更來自於精煉過程。

3.1 RLHF (基於人類回饋的強化學習)

這是讓 AI 變得「聽話」且「安全」的關鍵步驟。

預訓練 (Pre-training)： 學習海量知識。
SFT (監督式微調)： 人類示範如何回答。
獎勵模型訓練： 人類對 AI 的多個回答進行排序。
PPO 優化： 透過強化學習，讓模型傾向於獲得高分的回答。

3.2 參數高效微調 (PEFT)

LoRA (低秩自適應)

凍結原模型權重，僅外掛微小矩陣進行訓練。特點：節省 VRAM、部署快。

P-Tuning / Prompt Tuning

不改模型參數，而是學習一組「虛擬提示」的 Embedding 向量。特點：適用於跨任務部署。

四、提示工程 (Prompt Engineering) 中級鑑別點

如何透過優化輸入 (Prompt) 來獲得更好的輸出結果。

Zero-shot： 不給範例，直接下指令。
Few-shot： 給予少數幾個範例 (In-context learning)。
CoT (思維鏈)： 要求 AI 「一步一步思考」。顯著提升邏輯推理與數學題表現。
RAG (檢測增強生成)： 模型生成前先去「查書」(外部知識庫)，解決 幻覺 (Hallucination) 與時效性問題。

LLM 幻覺 (Hallucination)：

指模型生成看似正確但事實錯誤的資訊。解決策略：RAG (外部搜尋)、設定更高的 Top-P/降低 Temperature、或是使用更強的模型。

五、偏見、倫理與負面影響

iPAS 規劃師考試強調應用的安全性與合規性。

偏見 (Bias)： 來源於訓練資料的分布不均 (如性別、種族偏見)。
版權問題： 生成內容是否侵犯原作者智慧財產權。
Deepfake： 利用生成技術製造假影像、假音訊進行詐騙或誤導。
安全護欄 (Guardrails)： 確保 AI 不會回答有害、暴力或違法內容。

🚩 考前速記口訣

🔸 GAN： 左右互搏，真假難辨。
🔸 RLHF： 人類給分，模型變乖。
🔸 RAG： 考試翻書，杜絕胡說 (幻覺)。
🔸 CoT： 步步思索，邏輯不落。
🔸 LoRA： 外掛小卡，省錢微調。

iPAS 電腦視覺 (Computer Vision) 深度筆記

人工智慧技術應用規劃 | 單元 3.2 核心主題解析

快速導覽：

1. 數位影像基礎
2. 影像前處理與增強
3. CNN 卷積神經網路
4. 經典模型演進架構
5. 物件偵測與指標

一、數位影像基礎定義

電腦視覺的核心是將數位訊號轉換為具語義的資訊。理解影像的組成是第一步。

像素 (Pixel)： 構成影像的最小單位，包含亮度或色彩數值。
色彩空間 (Color Space)：
- RGB： 加法混色，最常用於顯示器。
- 灰階 (Grayscale)： 單通道，數值 0 (黑) 至 255 (白)。
- HSV： 色相 (Hue)、飽和度 (Saturation)、明度 (Value)。在處理「顏色分割」時比 RGB 更穩健。

二、影像前處理與資料增強必考核心

2.1 資料增強 (Data Augmentation)

目的： 模擬現實環境的變異，增加樣本多樣性，藉此 抑制過擬合 (Overfitting)。

幾何變換： 旋轉、縮放、水平/垂直翻轉、裁剪。
色彩變換： 調整亮度、對比度、加入高斯雜訊。

常見影像處理技術對比：

Canny 邊緣檢測

技術	說明	應考關鍵字
標準化 (Normalization)	將像素縮放至 [0,1] 或 [-1,1]	加速收斂、數值穩定
高斯模糊 (Gaussian Blur)	利用卷積進行平滑化	去噪、減少細節雜訊
提取影像中的物體輪廓	特徵提取、結構分析

三、卷積神經網路 (CNN) 核心機制

CNN 透過層次化的特徵學習，實現從「點、線、面」到「複雜物體」的識別。

3.1 卷積層 (Convolutional Layer)

利用 Filter (卷積核) 在影像上滑動進行內積運算。

輸出大小 = [(輸入大小 - 卷積核大小 + 2*Padding) / Stride] + 1

Stride (步長)： 濾鏡滑動的距離。步長增加會縮小輸出維度。
Padding (填充)： 在周圍補 0。目的是防止邊緣資訊丟失。

3.2 池化層 (Pooling Layer)

Max Pooling (最大池化)

保留區域內的最大值。擅長捕捉 顯著特徵，目前最主流。

Average Pooling (平均池化)

計算區域平均值。特點是影像背景資訊保留較多，常用於全卷積網路末端。

四、經典模型架構演進中級鑑別點

4.1 模型演進里程碑

AlexNet： 2012 帶動深度學習熱潮，引入 ReLU 與 Dropout。
VGGNet： 證明了「深度」的重要性，全部使用 3x3 小卷積核堆疊。
ResNet (殘差網路)： 核心在於 Skip Connection (跳躍連接)。解決了深層網路的「梯度消失」與「退化問題」。
MobileNet： 採用「深度可分離卷積 (Depthwise Separable Conv)」，適合手機等嵌入式設備。

五、物件偵測與指標應用場景評估

5.1 物件偵測架構對比

類別	代表模型	優點	缺點
One-Stage	YOLO, SSD	速度極快 (適合即時)	小物件偵測稍弱
Two-Stage	Faster R-CNN	精確度高 (先選後分類)	速度較慢，難以即時

評價指標深度解析：

IoU (交併比)： (預測框 ∩ 真實框) / (預測框 ∪ 真實框)。衡量框住的位置準不準。
Precision (精確度)： 抓出來的樣本中有多少是真的。
Recall (召回率)： 所有的正樣本中有多少被你抓出來。
mAP (平均精度均值)： 物件偵測 最核心指標，總結了所有類別的 Precision-Recall 曲線表現。

5.2 影像分割 (Segmentation)

語意分割 (Semantic)： 把相同類別的像素塗上相同顏色 (如：所有路人都是藍色)。
實例分割 (Instance)： 除了分種類，還要分個體 (如：路人甲是藍色、路人乙是紅色)。代表作：Mask R-CNN。

🚩 考前速記口訣

🔸 Augmentation： 多樣變換防過擬，旋轉翻轉不嫌多。
🔸 ResNet： 跳躍連結救深層，梯度不再消失中。
🔸 YOLO： 一眼看穿求即時，一階段架構速度衝。
🔸 IoU： 重疊越多分越高，目標框定才算行。

iPAS 自然語言處理 (NLP) 深度筆記

人工智慧技術應用規劃 | 單元 3.1 核心主題解析

快速導覽：

1. NLP 發展脈絡
2. 關鍵前處理技術
3. 文本表徵演進
4. 深度學習模型架構
5. 應用場景評估

一、 NLP 發展脈絡與定義

自然語言處理 (Natural Language Processing) 旨在消除人類語言 (自然語言) 與電腦處理 (程式語言) 之間的障礙。其發展可分為三個階段：

規則導向 (Rule-based)： 依賴語言學專家的語法規則 (如：If-Then)。
統計導向 (Statistical NLP)： 利用機率模型，如隱馬可夫模型 (HMM)。
深度學習導向 (Neural NLP)： 利用神經網路與大量資料學習特徵 (如：Transformer)。

二、關鍵資料前處理技術必考核心

2.1 中文斷詞 (Chinese Word Segmentation)

中文沒有空格，必須透過演算法識別詞界。常見工具：

Jieba (結巴)： 支援繁中，常考其三種模式 (精確、全、搜索)。
CKIP (中研院)： 準確率高，支援詞性標註 (POS Tagging)。
難點： 歧義性 (Ambiguity) 如「結婚的和尚未結婚的」與新詞識別。

詞幹提取 (Stemming) vs. 詞形還原 (Lemmatization)：

技術	說明	例子
Stemming	基於啟發式規則「切除」字尾，速度快。	cats -> cat, flying -> fly
Lemmatization	基於字典與語法分析還原「原形」，精準度高。	was -> be, mice -> mouse

三、文本表徵演進 (Text Representation)

如何將文字轉為電腦可運算的數學向量。

3.1 TF-IDF (詞頻-逆文件頻率)

用於評估字詞對一份文件的重要程度。

Score = TF(t, d) × IDF(t)

TF (Term Frequency)： 該詞在該文件中出現的頻率。越高代表該詞越重要。
IDF (Inverse Document Frequency)： log(總文件數 / 包含該詞的文件數)。越罕見的詞，IDF 越高。
應用： 關鍵字提取、文章搜尋權重。

3.2 Word2Vec (靜態詞向量)

利用淺層神經網路學習詞與詞之間的關係。主要有兩種架構：

CBOW (Continuous Bag of Words)： 用「周圍詞」預測「目標詞」。
Skip-gram： 用「目標詞」預測「周圍詞」。(通常對罕見詞效果更好)

四、深度學習模型架構中級鑑別點

RNN 家族

RNN： 具備循環路徑，適合序列資料。缺點是會有梯度消失 (Vanishing Gradient)，無法記住太長的資訊。
LSTM： 引入遺忘門 (Forget Gate) 等，大幅改善長距離記憶問題。
GRU： LSTM 的簡化版，計算速度快。

Transformer 家族

核心機制： 注意力機制 (Self-Attention)。
優點： 可平行計算 (Parallelism)，且不受距離限制，直接捕捉全句關聯。
BERT： Bidirectional Encoder (雙向)，擅長理解上下文。
GPT： Generative Pre-trained (單向)，擅長文本生成。

BERT 的訓練重點：

MLM (Masked Language Model)： 遮住 15% 的詞讓模型猜測 (類似克漏字)。
NSP (Next Sentence Prediction)： 判斷兩句話是否為前後文關係。

五、 NLP 實務應用與評估指標

5.1 應用任務分類

情感分析 (Sentiment Analysis)： 判斷正負面評價 (常用於公關監測)。
命名實體識別 (NER)： 識別地名、人名、日期等 (常用於資訊擷取)。
閱讀理解 (MRC)： 給予文章與問題，讓 AI 找出答案。

5.2 評估指標

Perplexity (困惑度)： 常用於評估語言模型。數值越低代表模型越好。
BLEU Score： 用於機器翻譯，比較生成的句子與參考答案的重合度。
ROUGE： 常用於自動摘要評估。

🚩 考前速記口訣

🔸 TF-IDF： 頻率高、總體少、權重重。
🔸 RNN： 順序跑、記不住、沒效率。
🔸 BERT： 雙向讀、擅理解、看全面。
🔸 Attention： 全局觀、分權重、能並行。

訂閱：意見 (Atom)

一、 AI 系統架構設計 (Cloud vs Edge) 高頻考點

二、 服務化與介面設計 (API & Microservices)

三、 容器化與編排技術 (Docker/K8s)

3.1 Docker 容器化

四、 MLOps 與持續交付流程 現代化維運核心

4.1 CI/CD/CT 流程

五、 上線後的模型監控與維運

🚩 考前速記口訣

一、 資料清洗與預處理技術 必考基礎

二、 特徵工程 (Feature Engineering)

三、 資料增強與採樣策略

3.1 資料增強 (Data Augmentation)

四、 模型選擇的決策邏輯 情境題核心

4.1 任務類型分類

五、 學習任務與指標對齊

🚩 考前速記口訣

一、 AI 風險的基本定義與分類

二、 技術層面風險與對策 必考核心

三、 資料與隱私層面風險

3.1 資料外洩與重構風險

四、 倫理、偏見與公平性 管理師重點

4.1 偏見 (Bias) 的來源

五、 法規合規與治理框架

🚩 考前速記口訣

一、 資料蒐集與標註規劃 核心基礎

1.1 資料生命週期管理

二、 模型選擇與算法規劃

2.1 模型評選準則

三、 基礎設施與運算資源規劃

雲端環境 (Cloud)

在地部署 (On-Premise)

四、 專案時程與人力配置 PM 職能考點

4.1 WBS (工作分解結構) 重點

4.2 團隊核心成員角色

五、 模型測試與驗證規劃

🚩 考前速記口訣

一、 AI 導入的需求分析

二、 可行性評估 (Feasibility Study) 必考核心

三、 成本與效益分析 (ROI) 計算/分析題常客

3.1 TCO (Total Cost of Ownership) 總持有成本

3.2 投資報酬率 (ROI) 計算

四、 導入策略與風險評估

自行開發 (Build)

採購/外包 (Buy/Outsource)

五、 專案排序與決策準則

5.1 難易度-價值矩陣 (Priority Matrix)

🚩 考前速記口訣

一、 多模態 AI 基礎定義

二、 跨模態對齊與融合技術 必考核心

2.1 聯合表示 (Joint Representation)

三、 代表性模型架構 中級鑑別點

3.1 CLIP (Contrastive Language-Image Pre-training)

3.2 多模態大型語言模型 (MLLM / LMM)

架構組成

代表模型

四、 核心應用場景評估

五、 多模態技術的未來挑戰

🚩 考前速記口訣

一、 生成式 AI 基礎定義

二、 核心模型架構對比 必考核心

三、 LLM 關鍵技術與微調 (Fine-tuning)

3.1 RLHF (基於人類回饋的強化學習)

3.2 參數高效微調 (PEFT)

LoRA (低秩自適應)

P-Tuning / Prompt Tuning

四、 提示工程 (Prompt Engineering) 中級鑑別點

五、 偏見、倫理與負面影響

🚩 考前速記口訣

一、 數位影像基礎定義

二、 影像前處理與資料增強 必考核心

2.1 資料增強 (Data Augmentation)

三、 卷積神經網路 (CNN) 核心機制

3.1 卷積層 (Convolutional Layer)

3.2 池化層 (Pooling Layer)

Max Pooling (最大池化)

Average Pooling (平均池化)

四、 經典模型架構演進 中級鑑別點

4.1 模型演進里程碑

五、 物件偵測與指標 應用場景評估

5.1 物件偵測架構對比

二、服務化與介面設計 (API & Microservices)

三、容器化與編排技術 (Docker/K8s)

四、 MLOps 與持續交付流程現代化維運核心

五、上線後的模型監控與維運

一、資料清洗與預處理技術必考基礎

二、特徵工程 (Feature Engineering)

三、資料增強與採樣策略

四、模型選擇的決策邏輯情境題核心

五、學習任務與指標對齊

二、技術層面風險與對策必考核心

三、資料與隱私層面風險

四、倫理、偏見與公平性管理師重點

五、法規合規與治理框架

一、資料蒐集與標註規劃核心基礎

二、模型選擇與算法規劃

三、基礎設施與運算資源規劃

四、專案時程與人力配置 PM 職能考點

五、模型測試與驗證規劃

二、可行性評估 (Feasibility Study) 必考核心

三、成本與效益分析 (ROI) 計算/分析題常客

四、導入策略與風險評估

五、專案排序與決策準則

一、多模態 AI 基礎定義

二、跨模態對齊與融合技術必考核心

三、代表性模型架構中級鑑別點

四、核心應用場景評估

五、多模態技術的未來挑戰

一、生成式 AI 基礎定義

二、核心模型架構對比必考核心

四、提示工程 (Prompt Engineering) 中級鑑別點

五、偏見、倫理與負面影響

一、數位影像基礎定義

二、影像前處理與資料增強必考核心

三、卷積神經網路 (CNN) 核心機制

四、經典模型架構演進中級鑑別點

五、物件偵測與指標應用場景評估

二、關鍵資料前處理技術必考核心

三、文本表徵演進 (Text Representation)

四、深度學習模型架構中級鑑別點