隨著越來越多的企業和消費者采用基于人工智能（AI）的應用，確保人工智能的責任感和可信度變得至關重要。各國政府機構和國際組織正在迅速制定法規并發布框架，以推動對人工智能使用的監督、問責和負責任。例如，歐盟《人工智能法案》要求高風險AI系統的開發者遵守多項規定，包括進行模型評估、評估并減輕系統性風險，以及進行對抗性測試（包括生成式AI系統的測試）以符合透明度要求。

雖然AI治理框架包含多個要素，但對AI應用底層算法的審計是一個必要且關鍵的組成部分。通過算法審計，我們能夠深入了解AI系統的內部工作機制，包括訓練數據、模型開發和訓練，以及AI系統的底層邏輯。這些信息有助于驗證AI系統是否遵守負責任AI的其他原則，從而增強我們對其輸出結果的信任。

算法審計及其挑戰

算法審計是指對機器學習（ML）應用進行評估，分析其功能、目的和背景，以評估其效用和公平性。這些審計幫助系統地理解模型構建過程中各步驟中可能產生的偏見。盡管算法審計在IT審計領域是一個熱門話題，但數據分析和基于機器學習的系統審計早已受到政府監管機構的關注。例如，澳大利亞競爭與消費者委員會（ACCC）對一個受歡迎的酒店搜索引擎進行審計時發現，該算法在排名系統中偏向支付更高傭金的酒店。聯邦法院最終命令該公司為其在網站和電視廣告中關于酒店房價的誤導性陳述支付罰款。這一案例強調了算法審計的益處及其揭示AI應用邏輯的能力。此外，最近的一系列法規使得算法審計成為AI從業者關注的重點。

算法審計面臨的最大障礙之一是缺乏詳細的成熟框架來指導如何基于AI子流程進行審計。另一個挑戰是缺乏廣泛采用的AI使用案例的先例。此外，研究人員和監管機構使用的審計技術過于多樣化（在技術審計方面和審計程序方面），且對應的目標集各不相同。更近一步講，缺乏基準控制可能導致審計結果不一致且不可靠。

盡管如此，值得注意的是，算法審計領域仍處于起步階段。隨著數字專業人士對這些工具的理解不斷深入，我們可以期待審計程序和控制措施的不斷完善，這將有助于結果的一致性，并增強其可靠性和實用性。然而，某些關鍵控制領域必須在算法審計中得到覆蓋，才能確保審計全面且有用，并產生可靠的結果。

系統輸入：數據控制

數據是驅動算法的燃料。在AI開發過程中，數據在每個階段都至關重要，獲取相關數據集并創建適當的數據管道非常重要。因此，審計必須關注與各種數據源相關的控制措施，如數據的準確性、準備和保護。除了數據質量相關的屬性外，審計人員還需確保數據集是多樣化、包容性且具有代表性的，因為算法的質量取決于其數據管道的質量。審計人員需要與AI工程團隊中的數據工程師合作，深入了解訓練數據的來源以及為應對隱私風險所采取的措施。隨后，審計人員還需評估數據準備技術，確保其未改變數據的關鍵特性，如完整性、準確性及其他統計屬性。

對抗性AI測試

各類法規要求高風險和強大AI系統的開發者使用模擬對抗性攻擊（如數據投毒或提示注入）來測試其模型的魯棒性。對抗性測試是指通過輸入錯誤數據來進行算法的壓力測試，試圖誤導算法以致其失敗。任何算法審計都應包括對組織如何進行對抗性測試的評估。應有一項獨立的政策，概述對抗性測試的整個過程，以提高模型的安全性和準確性。

政策應包括測試的詳細內容、執行測試的人員，以及這些測試在開發流程中的具體實施時間。隨后，還需測試與這些測試結果的審查相關的控制措施，如模型的調優以解決任何異常現象以及相關文檔記錄。以AI的紅隊測試為例，紅隊測試在網絡安全社區中是指由黑客、道德黑客或安全研究人員組成的團隊，模擬不同類型的攻擊者（包括國家級攻擊者和惡意內部人員）的活動，試圖攻破系統。這也是測試AI算法防御能力的有效方法，以應對意外輸入。美國白宮曾舉辦過一次旨在集合AI社區、測試頂尖科技企業模型的活動，以揭示新風險，這一事件促使許多組織更加重視對抗性測試的重要性。

AI模型監控

AI應用部署到生產環境后，需持續監控以識別模型性能、輸出的準確性和精度、安全性以及可靠性方面的任何變化。許多第三方AI模型監控工具可跟蹤并報告一系列相關指標。算法審計需包括對模型性能相關參數的審查、開發人員實施的可觀測性流程的深入分析，并涵蓋以下領域：選擇用于監控的指標、其相關性和適用性、及時發現問題的能力，以及解決任何發現問題的程序。斯坦福大學的語言模型全方位評估（HELM）方法在評估語言模型時會考量的指標如準確性、校準性、魯棒性、公平性、偏見、毒性和效率，這些都可以作為可靠的基準。審計人員需檢查AI模型是否通過適當的測量和閾值持續監控，以檢測任何模型漂移或系統性能異常。

AI模型開發

AI模型開發這個概念與IT審計專業人士有著共鳴，因為其與傳統系統開發生命周期（SDLC）有相似之處。對AI模型開發流程的審計將涉及對整個AI系統開發生命周期和變更管理流程的一般IT控制的審查。然而，在算法和模型開發的背景下，需特別強調設計規范的細節、測試和審批要求的深度。審計人員需評估設計文檔及相關威脅模型，理解算法的目的和邏輯，確保涉及到系統對其用戶和社會的影響問題。審計人員還應確保在算法部署前已進行適當的驗證程序——通過一系列功能測試驗證系統的各種功能并確保結果令人滿意。最后，部署到生產環境中的模型應得到具有適當權限的個人批準，以確保問責制——簡單的同行代碼審查不夠。這是每次審計中需測試的關鍵控制，旨在降低未經授權的模型或變更被部署的風險，并確保部署得到適當管理層的批準。組織在算法開發中使用第三方庫或外部來源的預訓練模型時，應考慮將靜態掃描集成到其持續集成/持續交付（CI/CD）管道中，以幫助識別軟件漏洞，從而降低模型供應鏈攻擊的風險。

結論

算法審計是確保AI技術安全性、公平性、可解釋性和安全性的有效工具。國際標準化組織（ISO）和國際電工委員會（IEC）最近發布的ISO/IEC 42001:2023《信息技術——人工智能——管理系統標準》包含一組可供企業和審計人員參考的必要控制措施。歐盟關于《數字服務法》下獨立審計以評估超大型在線平臺和搜索引擎合規性的委任條例也包含了若干算法審計的規劃指南和審計測試程序示例。算法審計是一個不斷發展的話題，隨著這些實踐逐漸成熟并得到更廣泛的應用，我們可以期待這些實踐變得更加普遍。

作者：Varun Prasad

翻譯：吳夢庭（TIFFANY WU）

來源：ISACA微信公眾號

編輯：孫哲

目前180000+人已關注我們，您還等什么？