なぜAIは個人データ保護に新しい攻撃面を生むのですか?
GDPR第5条第1項(f)は適切なセキュリティによる個人データの完全性と機密性の確保を、第32条はリスクに応じた技術的・組織的措置を求めています。台湾の個人情報保護法第27条は、個人データファイルを保有する非公務機関に適切な安全措置を求めています。処理の道具がAIになってもこれらの義務は変わりませんが、AIには従来なかった三つの経路があります。
- 入力からの漏えい:従業員が顧客名簿、診療記録、履歴書を外部の生成AIに貼り付けると、データは企業の管理を離れ、提供者に保存されたり学習に使われたりする可能性があります。
- 検索からの漏えい:人事、顧客対応、CRMのデータにつないだ社内AIアシスタントは、検索が利用者の元の権限で絞り込まれていない場合やプロンプトインジェクションで誘導された場合、本来見せるべきでない人に個人データを回答します。
- モデルからの漏えい:個人データで学習・ファインチューニングしたモデルは、メンバーシップ推論(ある人が学習データに含まれるか)やモデル逆推定の攻撃を受けえます。EDPB Opinion 28/2024は、モデルが匿名とみなされるには直接の抽出とクエリによる取得の可能性がいずれも無視できる程度である必要があるとし、こうした攻撃への耐性を評価要素に挙げています。
個人データを漏らすAI攻撃にはどのようなものがあり、どこから入ってきますか?
| 攻撃 | 侵入口 | 漏れる個人データ | 参照 |
|---|---|---|---|
| 従業員による外部AIへの入力 | 個人アカウントの生成AI、ブラウザ拡張機能 | 顧客、従業員、患者のデータ | OWASP LLM02 機微情報の開示 |
| 直接・間接プロンプトインジェクション | 顧客対応ボット、メールや文書を読むAIアシスタント | システムが検索できるあらゆる個人データ | NISTプロンプトインジェクション、OWASP LLM01 |
| 検索権限の回避 | ベクトルデータベース、RAGナレッジベース | 本来閲覧権限のない人事・顧客データ | OWASP LLM08 ベクトルと埋め込みの弱点 |
| メンバーシップ推論、モデル逆推定、学習データ抽出 | 個人データで学習・ファインチューニングしたモデル、推論API | 学習データに含まれる個人 | NISTプライバシー攻撃、EDPB Opinion 28/2024 |
| システムプロンプトの漏えい | 顧客データや内部ルールを含むプロンプト | プロンプト内の個人データと設定 | OWASP LLM07 |
| AIを使ったソーシャルエンジニアリング | 生成AIで作ったフィッシングメールや偽の音声 | アカウント乗っ取り後に到達できる個人データ | NIST悪用(misuse) |
対応する管理策と、残すべき証跡は何ですか?
義務欄は公式条文に基づき、管理策は当社の実務上の推奨です。
| 義務 | 管理策 | 証跡 |
|---|---|---|
| GDPR第25条:設計とデフォルトによるデータ保護 | AIゲートウェイが送信前に個人データを検出してマスク、会話内容はデフォルトで保存しない | ゲートウェイのルール、マスキング試験記録 |
| GDPR第32条、個人情報保護法第27条:安全措置 | RAG検索を利用者の元の権限で絞り込む、AIエージェントのデータアクセスを最小権限に、異常な照会の警告 | 権限設計、警告記録 |
| GDPR第28条:処理者 | 外部AIサービスと処理者条項を締結:データの学習利用禁止、保存期間、再委託先、インシデント通知 | 契約、供給者評価 |
| GDPR第35条:データ保護影響評価 | 新しいAI用途の本番前にDPIAを実施し、プロンプトインジェクションやメンバーシップ推論のシナリオを含める | DPIA報告書 |
| GDPR第33条、個人情報保護法第12条:侵害の通知 | AIによる漏えいをインシデント分類と通知の手順に含める | インシデント記録 |
| EDPB Opinion 28/2024:モデルの匿名性の主張 | 匿名性を主張する場合は抽出・推論攻撃の試験と文書を備える | 試験報告書、評価記録 |
ISO 27701はAIの個人データリスクをどう継続的な仕組みにしますか?
ISO/IEC 27701は個人情報管理システム(PIMS)です。上記の管理策を一回限りのプロジェクトではなく、責任者が定期的に見直す仕組みにします。
- 処理活動の記録:AIの用途ごとに処理活動として登録し、目的、個人データの種類、AIサービス提供者、保存期間、越境移転を記録します。
- リスク評価:本ページのAI攻撃一覧をプライバシーリスク評価に統合し、新しいAI用途やモデル変更時に再評価します。
- 供給者管理:AIサービス提供者を処理者の評価と契約管理に含めます。
- データ主体の権利:開示や削除の請求があった場合、AIの会話記録、ベクトルデータベース、ファインチューニング用データも対象に含めます。
- 内部監査とマネジメントレビュー:ゲートウェイの記録とRAGの権限設定を抜き取り確認し、管理策が実際に機能しているかを確かめます。
情報システム、法務、事業部門、AIサプライヤーの役割は?積穗科研とAhuraはどこを担いますか?
- 個人情報管理責任者/DPO:処理活動の記録を維持し、DPIAを主導し、インシデントの通知要否を判断します。
- 情報システム・セキュリティ:AIゲートウェイ、RAGの権限による絞り込み、記録と警告を構築します。
- 事業部門:AIの用途を提案する際にデータの種類と目的を説明し、外部AIサービスを独自に契約しません。
- 法務・調達:AI提供者と処理者条項を結び、学習利用の禁止、削除、監査を確認します。
積穗科研はGDPRと個人情報保護法の適用判断、AI用途のISO 27701体制への組み込み、DPIAの手法と管理策の設計を担当します。Ahura(POC版)は完全オンプレミスで、評価と承認の記録を企業自身の環境に保存し、eIDAS互換の証跡チェーンを備えます。
すでにISO 27701やGDPR対応の体制がある場合、AIについてはどこから始めますか?
- シャドーAIを見つける:従業員が実際に使っているAIサービスや拡張機能を洗い出し、入力データを学習に使うサービスから遮断します。
- 処理活動の記録を補う:AIの用途ごとに一件登録し、個人データの種類と提供者を明記します。
- 最もリスクの高い用途でDPIAを実施:通常は顧客や人事データにつないだ社内AIアシスタントで、プロンプトインジェクションと検索権限の回避を試験に含めます。
この三つが終われば、次回の内部監査でAIが仕組みの中に入っていることを確認できます。
他のサービスのAI攻撃への備え
公式情報源
- Regulation (EU) 2016/679 (GDPR) — EUR-Lex
- EDPB Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI models
- 個人資料保護法 — 全国法規資料庫(台湾)(中国語)
- ISO/IEC 27701 — Privacy information management — ISO
- NIST AI 100-2 E2025, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations
- OWASP Top 10 for LLM Applications 2025 — OWASP GenAI Security Project
