測試證據要包含什麼
| 問題 | 要能證明的事 |
|---|---|
| 引錯版本 | 回答引用的文件與版本可追溯；舊版下架後不再被引用 |
| 有資料卻答錯 | 檢索與生成的失敗分開統計，各有改善紀錄 |
| 沒有證據仍給結論 | 有拒答規則與人工接手機制，並測過 |
| 整體準確但少數群漏判 | 分群表現、錯誤代價與上線門檻 |
| 測試資料與訓練資料重複 | 資料切分方法與檢查紀錄 |
| 資料來源與授權混雜 | 來源、授權用途、個資、標註與版本的清冊；不符用途的資料補證、停用或限制 |
顧問應該交付什麼
- 資料治理程序：來源、授權、品質、標註與版本的紀錄要求
- 測試與驗收程序：測什麼、用什麼資料、誰判定、門檻是什麼、結果怎麼留存
- 拒答與人工接手規則，以及把測試結果接回風險處置與上線核准的流程
- 實際測試由你的工程團隊或第三方測試單位執行，顧問負責設計驗收要求並審查證據是否足以支持結論
怎麼驗收
任選一次上線，能找到測試資料版本、分群結果、拒答測試與核准紀錄；任選一個資料集，能說出來源、授權用途與是否含個資。
不能保證的事
測試能降低並揭露錯誤，不能保證零幻覺或零漏判；資料授權是否合法，最終要由法務或律師判斷。
積穗科研的做法
以下是積穗科研自己的說明，請用上方的問題同樣檢驗我們，也檢驗其他顧問。
- 誰主導：副總、董事級顧問全程輔導，不外包
- 專案節奏（服務頁所列）：範圍與盤點 2–4 週、風險與影響評估 3–5 週、制度建置 6–10 週、稽核與驗證 4–8 週；已有 ISO 27001 的組織通常 4–6 個月可達驗證，從零開始約 6–9 個月
- 分工：制度與證據鏈由我們建立；法律意見由合作律師出具；驗證由依 ISO/IEC 42006 認可的驗證機構執行，我們陪同、不代審
- 已完成的工作（受保密協議限制、匿名）：製造業自動化企業建立 AI 系統清單、完成 AI 風險分級，針對高風險應用建立演算法審查流程與人類監督機制，取得 ISO 42001 驗證
相關問題
- ISO 42001 會要求做模型測試嗎？ ISO/IEC 42001 要求管理 AI 系統的生命週期與資料，包括驗證與確認的要求與紀錄；測試怎麼做、門檻多少，由組織依風險訂定並留下證據。ISO 42001 導入輔導
- 廠商只給整體準確率簡報夠嗎？ 不夠作為驗收依據。至少要有測試資料說明、分群表現與錯誤代價，否則上線核准沒有根據。台灣 ISO 42001 顧問怎麼選
合規要三者兼顧，顧問的價值在整合
CRA、TISAX、ISO 27701、AI Act 都不是單一技術問題，而是流程、資安技術、法遵三件事同時成立才算完成。只補其中一塊，另外兩塊的缺口會在稽核、通報或客戶盡職調查時浮現，最後要重做。
| 面向 | 要回答的問題 | 只補這一塊時常見的缺口 |
|---|---|---|
| 流程（管理系統） | 誰負責、做什麼、何時做，做跟沒做的證據在哪、怎麼持續改善 | 技術工具到位，但沒有人定期執行，稽核時拿不出紀錄 |
| 資安技術 | 控制措施怎麼設計、怎麼驗證有效 | 文件寫得完整，但系統實際上沒有做到 |
| 法遵 | 適用哪條法規、角色是什麼、期限與罰則為何 | 做了一套控制，卻對錯法規或角色，義務沒有涵蓋到 |
積穗科研的顧問團隊同時涵蓋這三個面向，從法規判定、流程設計到技術控制一次規劃，同一套證據對應多個法規與客戶要求。