人工智慧技術應用規劃 | 單元 5.2 核心主題解析
一、 AI 系統架構設計 (Cloud vs Edge) 高頻考點
規劃師必須根據應用場景（延遲需求、安全性、成本）選擇部署架構。
部署架構對照表：
| 架構類型 | 說明 | 優點 | 缺點 |
|---|---|---|---|
| 雲端部署 (Cloud) | 模型運行在遠端高效能伺服器。 | 強大算力、易於管理維護、靈活擴展。 | 高延遲、頻寬需求大、資料隱私疑慮。 |
| 邊緣運算 (Edge) | 模型運行在終端設備（如手機、感測器）。 | 即時性高、低頻寬成本、隱私保護性強。 | 算力受限、設備電力受限、模型更新難。 |
| 混合架構 (Hybrid) | 邊緣進行預處理或初步推論，複雜任務傳回雲端。 | 平衡效能與隱私。 | 系統開發複雜度高。 |
二、 服務化與介面設計 (API & Microservices)
AI 模型需透過標準化介面與現有系統集成，通常採用微服務架構以提升穩定性。
- 模型服務化 (Model as a Service)： 將模型封裝成 API（如 RESTful API 或 gRPC），供前端或後端呼叫。
- 異步處理 (Asynchronous)： 針對耗時較長的推論任務（如影片分析），採用訊息隊列（Message Queue）進行處理，避免系統阻塞。
- 微服務 (Microservices)： 將 AI 功能與主系統邏輯解耦，若 AI 服務當機，不影響主系統運作。
三、 容器化與編排技術 (Docker/K8s)
為了解決「在我的電腦跑得動，但在伺服器跑不動」的問題，容器化是必備技術。
3.1 Docker 容器化
將 AI 模型及其依賴環境（Python 版本、CUDA 驅動、函式庫）打包成 鏡像 (Image)，確保環境一致性。
Kubernetes (K8s) 的角色：
當 AI 服務流量變大時，K8s 負責 自動擴縮 (Auto-scaling)、負載平衡及故障轉移。確保 AI 推論服務在高併發下仍能穩定提供服務。
四、 MLOps 與持續交付流程 現代化維運核心
MLOps = ML + Dev + Ops。其目的是實現 AI 模型的自動化開發、測試、部署與監控。
4.1 CI/CD/CT 流程
- CI (持續整合)： 自動化測試程式碼品質。
- CD (持續部署)： 自動化將通過測試的模型部署至生產環境。
- CT (持續訓練)： 當偵測到新資料或效能下降時，觸發模型自動重練（這是 AI 與傳統軟體最大的差異）。
五、 上線後的模型監控與維運
模型上線後才是風險的開始，必須建立全方位的監控系統。
監控關鍵指標：
- 系統性能： CPU/GPU 使用率、推論延遲 (Latency)、回應成功率。
- 模型效能： 準確率 (Accuracy) 的下滑情況。
- 資料漂移 (Data Drift)： 即時輸入資料的分佈是否與訓練資料偏離？
- 概念漂移 (Concept Drift)： 問題本身的性質是否隨時間改變？（如：疫情期間大眾消費習慣改變）。