為什麼含 AI 功能的產品,CRA 威脅建模一定要納入 AI 攻擊?
CRA 管的是整個數位元素產品,不分功能是傳統程式還是 AI 模型。只要產品裡有 AI,第 13 條第 2 項要求的網路安全風險評估就必須把 AI 帶來的新攻擊面算進去,附件 I 第一部分第 2 點的要求(例如防止未經授權存取、保護資料與指令的完整性、維持基本功能可用、限縮攻擊面、記錄與監控內部活動)也同樣適用於 AI 元件。
- 法規銜接:CRA 第 12 條規定,同時被 AI 法第 6 條歸為高風險 AI 系統的產品,只要符合 CRA 附件 I 的基本要求並在 EU 符合性聲明中表明,就視為符合 AI 法第 15 條的資安要求。
- AI 法第 15 條第 5 項點名的攻擊:資料投毒(data poisoning)、模型投毒(model poisoning)、對抗樣本/模型規避(adversarial examples、model evasion)、機密性攻擊與模型缺陷。這份清單就是 CRA 威脅模型裡 AI 部分最起碼要涵蓋的範圍。
- CRA 前言第 51 點:說明高風險 AI 系統的網路韌性風險時,直接點名資料投毒、對抗攻擊等 AI 專屬弱點。
- 時程:CRA 第 14 條通報義務自 2026 年 9 月 11 日起適用,其餘義務自 2027 年 12 月 11 日起全面適用;AI 法高風險義務經 Regulation (EU) 2026/1744 調整後,附件 III 用途自 2027 年 12 月 2 日、附件 I 受規產品自 2028 年 8 月 2 日起適用。
換句話說,不是「做了 AI 治理就不用管 CRA」,也不是「CRA 沒寫 AI 就不用管」:AI 元件被攻破,就是產品被攻破。
含 AI 的 PDE 有哪些 AI 專屬攻擊面?
下表依 NIST AI 100-2 E2025 的攻擊分類與 OWASP Top 10 for LLM Applications 2025 整理,對到產品裡實際會出現的進入點。不是每個產品都全部適用,要依產品架構逐項判斷。
| AI 攻擊 | 產品上的進入點 | 可能後果 | 參考分類 |
|---|---|---|---|
| 資料投毒、模型投毒 | 訓練資料來源、預訓練模型、OTA 更新中的模型檔 | 模型被植入後門或判斷失準 | AI 法第 15 條第 5 項;NIST 投毒攻擊;OWASP LLM04 |
| 對抗樣本/模型規避 | 感測器、影像、語音輸入 | 辨識被誤導,安全功能失效 | AI 法第 15 條第 5 項;NIST 規避攻擊 |
| 直接與間接提示注入 | 語音助理、聊天介面、讀取外部文件或網頁的功能 | 繞過限制、觸發未授權操作 | NIST 提示注入;OWASP LLM01 |
| 過度授權(模型可呼叫裝置功能) | AI 代理可下指令開關、改設定、呼叫 API | 被注入的指令直接變成裝置動作 | OWASP LLM06 |
| 機密性攻擊:模型竊取、成員推論、資料萃取 | 雲端推論 API、裝置上的模型檔 | 模型或訓練資料外洩 | AI 法第 15 條第 5 項;NIST 隱私攻擊 |
| 資源無限耗用 | 遠端資料處理(雲端 AI 服務) | 服務中斷、費用暴增 | OWASP LLM10;附件 I 第一部分第 2 點 (h) |
| AI 供應鏈 | 第三方模型、套件、模型託管平台 | 帶入已知弱點或惡意元件 | NIST 生成式 AI 供應鏈攻擊;OWASP LLM03 |
CRA 威脅建模要怎麼把 AI 攻擊做進去?
積穗科研建議在原本的 CRA 威脅建模流程上加四個步驟,而不是另開一套 AI 文件:
- 把 AI 元件列成資產:模型檔與版本、訓練與微調資料來源、系統提示詞、推論端點、AI 供應商。這些也要進元件清單;CRA 附件 I 第二部分第 1 點要求的 SBOM 至少涵蓋頂層相依元件,模型與 AI 套件納入同一份清單是積穗科研的實務建議,不是法規指定格式。
- 畫出 AI 資料流與信任邊界:哪些輸入來自使用者、哪些來自外部文件或網頁(間接提示注入的來源)、模型輸出會不會直接驅動裝置動作。
- 逐項套用 AI 攻擊清單:用上一段的表格,對每個進入點評估可能性與影響,決定處置;高風險項目要有對應的技術控制與測試。
- 把 AI 弱點接進漏洞處理:越獄、提示注入繞過等問題,若可被利用影響產品安全,就和一般漏洞一樣進 PSIRT 流程,判斷是否屬於第 14 條要通報的「正被積極利用的漏洞」。
威脅模型要隨模型版本更新而更新:換模型、重新微調、加新的 AI 功能,都要重新評估。
對應的技術控制與要留下的證據是什麼?
條文欄依官方文本;控制做法是積穗科研的實務建議。
| 要求 | AI 元件的控制做法 | 留下的證據 |
|---|---|---|
| 附件 I 第一部分第 2 點 (f):保護資料、指令、程式與設定的完整性 | 模型檔簽章與更新時驗證、訓練資料來源與雜湊紀錄 | 簽章驗證紀錄、資料來源清單 |
| 附件 I 第一部分第 2 點 (d):防止未經授權存取 | 推論 API 驗證與授權、AI 代理可呼叫功能的最小權限與人工確認 | 權限設計文件、測試紀錄 |
| 附件 I 第一部分第 2 點 (h):基本功能可用、抵禦阻斷服務 | 推論速率限制、輸入長度上限、異常用量告警 | 組態基準、告警紀錄 |
| 附件 I 第一部分第 2 點 (j):限縮攻擊面 | 關閉不必要的 AI 介面、外部內容進入模型前的過濾與隔離 | 設計審查紀錄 |
| 附件 I 第一部分第 2 點 (l):記錄與監控內部活動 | 保存提示、模型回應與觸發動作的安全事件紀錄(注意個資最小化) | 事件紀錄、監控規則 |
| 第 13 條第 2 項:風險評估;AI 法第 15 條第 5 項 | 對抗測試、提示注入測試、模型竊取與萃取測試 | 測試計畫與報告、威脅模型版本 |
研發、資安、產品與 AI 供應商各自負責什麼?積穗與 Ahura 做哪一段?
- 產品與研發:提出 AI 功能需求時就附上資料流與信任邊界;模型更換或微調要觸發重新評估。
- 資安與 PSIRT:維護 AI 攻擊清單、安排對抗與提示注入測試、把 AI 弱點納入漏洞處理與第 14 條通報判斷。
- 採購:與 AI 模型或雲端 AI 服務供應商約定弱點通報、資料使用與更新責任(對應第 13 條第 5 項對第三方元件的查核)。
- 法遵:判斷產品是否同時屬於 AI 法高風險系統,決定第 12 條的符合性路徑。
積穗科研負責適用性與分級判定、威脅建模工作坊、控制設計與證據規劃;對抗測試可由客戶團隊或獨立測試單位執行,積穗科研負責範圍設定與結果審查。Ahura(POC 版本)的 CRA 流程包含威脅建模、SBOM 弱點管理、24/72 小時通報時限追蹤與技術文件簽核,資料全部留在企業地端。
已經在做 CRA,加入 AI 威脅建模要從哪裡開始?
先做三件事:
- 盤點:列出每個產品裡的 AI 元件(自研模型、第三方模型、雲端 AI 服務、AI 代理功能)與它們能做的動作。
- 補威脅模型:用本頁的 AI 攻擊清單,針對有 AI 的產品補一輪威脅建模,先處理「模型輸出會直接驅動裝置動作」與「模型檔會隨更新派送」這兩類高影響情境。
- 接上漏洞處理:在 PSIRT 流程加入 AI 弱點分類,並約定 AI 供應商的弱點通報窗口。
這三件事完成後,再把測試排進發版前的固定關卡,CRA 技術文件就能直接引用這些紀錄。
其他服務的 AI 資安攻擊防護
官方來源
- Regulation (EU) 2024/2847 (Cyber Resilience Act) — EUR-Lex
- Regulation (EU) 2024/1689 (Artificial Intelligence Act), Article 15 — EUR-Lex
- Regulation (EU) 2026/1744 (Digital Omnibus on AI) — EUR-Lex
- NIST AI 100-2 E2025, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations
- OWASP Top 10 for LLM Applications 2025 — OWASP GenAI Security Project
