為什麼 AI 讓個資保護多出新的攻擊面?
GDPR 第 5 條第 1 項 (f) 款要求以適當安全措施確保個資的完整與機密,第 32 條要求依風險採取技術與組織措施;台灣個資法第 27 條要求保有個資檔案的非公務機關採行適當安全措施。這些義務不因處理工具換成 AI 而改變,但 AI 帶來三條過去沒有的路徑:
- 輸入外洩:員工把客戶名單、病歷、履歷貼進外部生成式 AI,資料離開企業控制,還可能被服務商保存或用於訓練。
- 檢索外洩:內部 AI 助理接上人事、客服、CRM 資料庫,若檢索不依使用者原本的權限過濾,或被提示注入誘導,就會把個資答給不該看的人。
- 模型外洩:用個資訓練或微調的模型,可能被成員推論(判斷某人是否在訓練資料中)或模型反推攻擊還原資料。EDPB Opinion 28/2024 指出,模型要被認定為匿名,必須讓直接萃取與經由查詢取得個資的可能性都微不足道,並把這類攻擊的抵抗力列為評估要素。
AI 造成的個資攻擊有哪些?從哪裡進來?
| 攻擊 | 進入點 | 外洩的個資 | 參考分類 |
|---|---|---|---|
| 員工輸入外部 AI | 個人帳號的生成式 AI、瀏覽器外掛 | 客戶、員工、病患資料 | OWASP LLM02 敏感資訊揭露 |
| 直接與間接提示注入 | 客服機器人、讀取信件或文件的 AI 助理 | 檢索得到的任何個資 | NIST 提示注入;OWASP LLM01 |
| 檢索權限繞過 | 向量資料庫、RAG 知識庫 | 依原權限不該看到的人事或客戶資料 | OWASP LLM08 向量與嵌入弱點 |
| 成員推論、模型反推、訓練資料萃取 | 用個資訓練或微調的模型、推論 API | 訓練資料中的個人 | NIST 隱私攻擊;EDPB Opinion 28/2024 |
| 系統提示詞洩漏 | 提示詞內含客戶資料或內部規則 | 提示詞中的個資與設定 | OWASP LLM07 |
| AI 輔助社交工程 | 以生成式 AI 製作的釣魚信、仿冒語音 | 帳號被盜後可存取的個資 | NIST 濫用(misuse) |
對應的控制做法與要留下的證據是什麼?
義務欄依官方條文;控制做法是積穗科研的實務建議。
| 義務 | 控制做法 | 留下的證據 |
|---|---|---|
| GDPR 第 25 條:設計與預設的資料保護 | AI 閘道在送出前偵測並遮罩個資;預設不保存對話內容 | 閘道規則、遮罩測試紀錄 |
| GDPR 第 32 條;個資法第 27 條:安全措施 | RAG 檢索依使用者原始權限過濾;AI 代理的資料存取最小權限;異常查詢告警 | 權限設計、告警紀錄 |
| GDPR 第 28 條:委託處理者 | 外部 AI 服務簽處理者條款:不得拿資料訓練、保存期限、次處理者、事件通報 | 合約、供應商評估 |
| GDPR 第 35 條:資料保護影響評估 | 新 AI 用途上線前做 DPIA,納入提示注入、成員推論等攻擊情境 | DPIA 報告 |
| GDPR 第 33 條;個資法第 12 條:事件通報與通知 | AI 造成的外洩納入事件分級與通報流程 | 事件處理紀錄 |
| EDPB Opinion 28/2024:模型匿名性主張 | 若主張模型匿名,要有萃取與推論攻擊的測試與文件 | 測試報告、評估紀錄 |
ISO 27701 怎麼把 AI 個資風險變成持續運作的制度?
ISO/IEC 27701 是隱私資訊管理系統(PIMS),讓上面的控制不是一次性專案,而是有人負責、定期檢討:
- 處理活動紀錄:每個 AI 用途登記成一項處理活動:目的、個資類別、AI 服務供應商、保存期間、跨境傳輸。
- 風險評估:把本頁的 AI 攻擊清單併入隱私風險評估,新 AI 用途或換模型時重新評估。
- 供應商管理:AI 服務商納入處理者評估與合約管理。
- 當事人權利:客戶要求刪除或查詢時,確認 AI 對話紀錄、向量資料庫與微調資料都在處理範圍內。
- 內部稽核與管理審查:抽查閘道紀錄與 RAG 權限設定,確認控制真的有在跑。
資訊、法務、業務單位與 AI 供應商各自負責什麼?積穗與 Ahura 做哪一段?
- 個資管理代表/DPO:維護處理活動紀錄、主導 DPIA、判斷事件是否需要通報。
- 資訊與資安:建置 AI 閘道、RAG 權限過濾、紀錄與告警。
- 業務單位:提出 AI 用途時說明資料類別與目的,不自行開通外部 AI 服務。
- 法務與採購:與 AI 服務商簽處理者條款,確認不訓練、可刪除、可稽核。
積穗科研負責 GDPR 與個資法適用判斷、把 AI 用途納入 ISO 27701 制度、DPIA 方法與控制設計。Ahura(POC 版本)全地端部署,評估與簽核紀錄保存在企業自己的環境,符合 eIDAS 相容的證據鏈要求。
已經有 ISO 27701 或 GDPR 制度,要補 AI 從哪裡開始?
- 找出影子 AI:盤點員工實際在用的 AI 服務與外掛,先封鎖會把資料拿去訓練的服務。
- 補處理活動紀錄:每個 AI 用途登記一筆,標出個資類別與供應商。
- 挑最高風險的一個做 DPIA:通常是接上客戶或人事資料的內部 AI 助理,把提示注入與檢索權限繞過列進測試。
做完這三件事,下一次內部稽核就能看到 AI 已經在制度裡。
其他服務的 AI 資安攻擊防護
官方來源
- Regulation (EU) 2016/679 (GDPR) — EUR-Lex
- EDPB Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI models
- 個人資料保護法 — 全國法規資料庫
- ISO/IEC 27701 — Privacy information management — ISO
- NIST AI 100-2 E2025, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations
- OWASP Top 10 for LLM Applications 2025 — OWASP GenAI Security Project
