AI機能を持つ製品のCRA脅威モデリングに、なぜAI攻撃を含める必要があるのですか?
CRAは、機能が従来のプログラムかAIモデルかを問わず、デジタル要素製品全体を対象とします。製品にAIが含まれれば、第13条第2項のサイバーセキュリティリスク評価は新しい攻撃面を考慮しなければならず、附属書I第1部第2項の要件(不正アクセスからの保護、データ・コマンドの完全性、基本機能の可用性、攻撃面の限定、内部活動の記録と監視など)もAI構成要素に適用されます。
- 法令の接続:CRA第12条は、AI法第6条により高リスクAIシステムに分類される製品が、CRA附属書Iの必須要件を満たしEU適合宣言でそれを示す場合、AI法第15条のサイバーセキュリティ要件に適合しているとみなすと定めています。
- AI法第15条第5項が挙げる攻撃:データポイズニング、モデルポイズニング、敵対的サンプル/モデル回避、機密性攻撃、モデルの欠陥。これがCRA脅威モデルのAI部分で最低限扱うべき範囲です。
- CRA前文第51項:高リスクAIシステムのサイバーレジリエンスのリスクを述べる中で、データポイズニングや敵対的攻撃などのAI固有の脆弱性を明示しています。
- 期限:CRA第14条の報告義務は2026年9月11日から適用され、その他の義務は2027年12月11日から全面適用されます。AI法の高リスク義務はRegulation (EU) 2026/1744による改正後、附属書IIIの用途は2027年12月2日、附属書Iの規制対象製品は2028年8月2日から適用されます。
つまり、AIガバナンスがあればCRAは不要というわけでも、CRAにAIの記載がないから対象外というわけでもありません。AI構成要素が破られれば、製品が破られたことになります。
AIを搭載したデジタル要素製品には、どのようなAI固有の攻撃面がありますか?
NIST AI 100-2 E2025の攻撃分類とOWASP Top 10 for LLM Applications 2025をもとに、製品に実際に現れる侵入口に対応させました。すべての製品にすべてが当てはまるわけではなく、製品アーキテクチャごとに判断します。
| AI攻撃 | 製品上の侵入口 | 起こりうる結果 | 参照 |
|---|---|---|---|
| データポイズニング、モデルポイズニング | 学習データ、事前学習モデル、OTA更新で配布するモデルファイル | バックドアの埋め込み、判断精度の低下 | AI法第15条第5項、NISTポイズニング、OWASP LLM04 |
| 敵対的サンプル/回避 | センサー、画像、音声入力 | 誤認識、安全機能の無効化 | AI法第15条第5項、NIST回避攻撃 |
| 直接・間接プロンプトインジェクション | 音声アシスタント、チャット、外部文書やWebを読む機能 | 制限の回避、無許可の操作 | NISTプロンプトインジェクション、OWASP LLM01 |
| 過剰な権限(モデルが機器機能を呼び出せる) | 機能の切替、設定変更、API呼び出しを行うAIエージェント | 注入された指示がそのまま機器の動作になる | OWASP LLM06 |
| 機密性攻撃:モデル窃取、メンバーシップ推論、データ抽出 | クラウド推論API、機器上のモデルファイル | モデルや学習データの漏えい | AI法第15条第5項、NISTプライバシー攻撃 |
| 無制限な消費 | 遠隔データ処理(クラウドAIサービス) | サービス停止、費用の急増 | OWASP LLM10、附属書I第1部第2項(h) |
| AIサプライチェーン | 第三者モデル、ライブラリ、モデル配布基盤 | 既知の脆弱性や悪意ある部品の混入 | NIST生成AIサプライチェーン攻撃、OWASP LLM03 |
CRAの脅威モデリングにAI攻撃をどう組み込みますか?
AI専用の文書体系を別に作るのではなく、既存のCRA脅威モデリングに次の4ステップを加えることをお勧めします。
- AI構成要素を資産として登録:モデルファイルとバージョン、学習・ファインチューニングデータの出所、システムプロンプト、推論エンドポイント、AIサプライヤー。構成要素一覧にも含めます。附属書I第2部第1項が求めるSBOMは少なくとも最上位の依存関係を対象とします。モデルやAIライブラリを同じ一覧に含めるのは当社の実務上の推奨であり、規則が定める形式ではありません。
- AIのデータフローと信頼境界を描く:どの入力が利用者から来るのか、どれが外部文書やWebから来るのか(間接プロンプトインジェクションの源)、モデルの出力が機器の動作を直接駆動するのか。
- AI攻撃一覧を項目ごとに適用:上の表を使い、侵入口ごとに可能性と影響を評価して対応を決めます。高リスク項目には技術的管理策と試験を対応させます。
- AIの弱点を脆弱性対応に接続:ジェイルブレイクやプロンプトインジェクションによる回避が製品のセキュリティに影響しうる場合は、通常の脆弱性と同様にPSIRTで扱い、第14条で報告すべき「積極的に悪用されている脆弱性」かを判断します。
モデルの入れ替え、再ファインチューニング、新しいAI機能の追加のたびに、脅威モデルを見直します。
対応する技術的管理策と、残すべき証跡は何ですか?
要件欄は公式条文に基づき、管理策は当社の実務上の推奨です。
| 要件 | AI構成要素の管理策 | 証跡 |
|---|---|---|
| 附属書I第1部第2項(f):データ、コマンド、プログラム、設定の完全性 | モデルファイルの署名と更新時の検証、学習データの出所とハッシュの記録 | 署名検証記録、データ出所一覧 |
| 附属書I第1部第2項(d):不正アクセスからの保護 | 推論APIの認証・認可、AIエージェントが呼べる機能の最小権限と人による確認 | 権限設計書、試験記録 |
| 附属書I第1部第2項(h):基本機能の可用性、サービス妨害への耐性 | 推論のレート制限、入力長の上限、異常な使用量の警告 | 設定基準、警告記録 |
| 附属書I第1部第2項(j):攻撃面の限定 | 不要なAIインターフェースの無効化、外部コンテンツをモデルに渡す前の選別と隔離 | 設計レビュー記録 |
| 附属書I第1部第2項(l):内部活動の記録と監視 | プロンプト、モデル応答、発生した動作のセキュリティログ(個人データは最小化) | イベントログ、監視ルール |
| 第13条第2項のリスク評価、AI法第15条第5項 | 敵対的試験、プロンプトインジェクション試験、モデル窃取・抽出試験 | 試験計画と報告書、脅威モデルの版 |
研究開発、セキュリティ、製品、AIサプライヤーの役割は?積穗科研とAhuraはどこを担いますか?
- 製品・研究開発:AI機能の要件にはデータフローと信頼境界を添付し、モデル変更や再ファインチューニングで再評価を起動します。
- セキュリティ・PSIRT:AI攻撃一覧を維持し、敵対的試験とプロンプトインジェクション試験を計画し、AIの弱点を脆弱性対応と第14条の報告判断に組み込みます。
- 調達:AIモデルやクラウドAIサービスの供給者と、脆弱性通知、データ利用、更新の責任を取り決めます(第13条第5項の第三者構成要素に対するデューデリジェンスに対応)。
- コンプライアンス:製品がAI法上の高リスクAIシステムにも該当するかを判断し、第12条に基づく適合性評価の経路を決めます。
積穗科研は適用範囲と区分の判定、脅威モデリングワークショップ、管理策の設計と証跡計画を担当します。敵対的試験はお客様のチームまたは独立した試験機関が実施し、当社は範囲設定と結果のレビューを担います。Ahura(POC版)のCRAフローは、脅威モデリング、SBOM脆弱性管理、24/72時間の報告期限追跡、技術文書の承認を含み、データはすべて企業のオンプレミス環境に保存されます。
すでにCRA対応を進めている場合、AI脅威モデリングはどこから始めますか?
まず次の3つから始めます。
- 棚卸し:製品ごとのAI構成要素(自社モデル、第三者モデル、クラウドAIサービス、AIエージェント機能)と、それらが実行できる動作を一覧にします。
- 脅威モデルの補強:本ページのAI攻撃一覧を使い、AIを含む製品について脅威モデリングを一巡させます。影響の大きい「モデル出力が機器の動作を直接駆動する」ケースと「モデルファイルが更新とともに配布される」ケースから着手します。
- 脆弱性対応への接続:PSIRTの手順にAIの弱点の分類を加え、各AIサプライヤーと脆弱性通知の窓口を取り決めます。
これらが整ったら、試験をリリース前の固定ゲートに組み込み、CRA技術文書がその記録を直接参照できるようにします。
他のサービスのAI攻撃への備え
公式情報源
- Regulation (EU) 2024/2847 (Cyber Resilience Act) — EUR-Lex
- Regulation (EU) 2024/1689 (Artificial Intelligence Act), Article 15 — EUR-Lex
- Regulation (EU) 2026/1744 (Digital Omnibus on AI) — EUR-Lex
- NIST AI 100-2 E2025, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations
- OWASP Top 10 for LLM Applications 2025 — OWASP GenAI Security Project
