CyberArk 今（18）日宣布推出 FuzzyAI，一個先進的開源專案，能破解所有主要測試過的 AI 模型。FuzzyAI 協助企業識別並解決 AI 模型的漏洞，例如繞過防護機制和產生有害輸出等問題，適用於雲端託管和內部部署的 AI 模型。2024 年歐洲黑帽大會（Black Hat Europe 2024）的參與者將能親身探索這款工具的功能與應用，了解如何在採用 AI 的同時降低資安風險。
為何需要 FuzzyAI？
AI 模型正透過創新的應用改變各行各業，包括客戶互動、內部流程改進及自動化。然而，這些模型的內部使用同時也帶來了大多數企業尚未準備應對的新資安挑戰。
FuzzyAI 透過為企業提供一種系統化的方法來測試 AI 模型對各種對抗性輸入的反應，協助解決部分這些挑戰，揭示其安全系統中的潛在弱點，使 AI 的開發和部署更加安全。FuzzyAI 的核心是一個功能強大的模糊測試工具，專門用於揭露軟體缺陷和漏洞，能夠揭露超過十種不同攻擊技術進而找出漏洞，從繞過道德過濾器到揭露隱藏的系統提示。FuzzyAI 的主要功能包括：
全面模糊測試： FuzzyAI 使用各種攻擊技術測試 AI 模型，揭露漏洞，例如繞過防護機制、資訊洩漏、提示注入或產生有害輸出。
可擴展平台： 企業和研究人員可添加自行定義的攻擊方法，針對特定領域的漏洞進行測試。
社群協作： 不斷壯大的社群生態系統，促進對抗技術和防禦機制的持續進步。
「FuzzyAI 的推出突顯了 CyberArk 對 AI 安全的承諾，並協助企業在解決 AI 模型使用演進中固有的安全問題上邁出重要一步，」CyberArk 產品長 Peretz Regev 表示。「由 CyberArk Labs 開發的 FuzzyAI 已展示其破解所有主要測試過的 AI 模型的能力。FuzzyAI 讓企業和研究人員能夠識別弱點，並積極加強其 AI 系統以抵禦新興威脅。」
FuzzyAI 產品供應
FuzzyAI 的完全可擴展平台已於 2024 年 12 月 11 日起在 CyberArk Labs 的 GitHub 頁面上以開源軟體形式提供。CyberArk Labs 並在歐洲黑帽大會的 Arsenal 區舉辦一場「奪旗賽」（CTF）活動，展示其實際應用，強調越獄漏洞對真實世界的影響，以及主動防範的重要性。
