根據(jù)商業(yè)與技術(shù)洞察公司Gartner的最新預(yù)測，到2029年，70%的中國企業(yè)將實施 AI 安全測試，以增強其現(xiàn)有的應(yīng)用安全測試和滲透測試機制，而目前這一比例不足5%。

Gartner高級研究總監(jiān)趙宇表示：“大語言模型（LLM）和 AI智能體在各個關(guān)鍵領(lǐng)域中的大規(guī)模部署正在重塑中國的網(wǎng)絡(luò)安全格局。對于中國的CIO及其安全團(tuán)隊而言，專業(yè)化與持續(xù)性的AI安全測試不僅是防御措施， 更是部署高價值 AI、搶占市場份額、確保合規(guī)以及實現(xiàn)中國 AI 全球領(lǐng)導(dǎo)力目標(biāo)的關(guān)鍵推動力。”

AI 大規(guī)模融入業(yè)務(wù)系統(tǒng)

隨著國產(chǎn)大語言模型的快速發(fā)展，企業(yè)機構(gòu)紛紛將AI大規(guī)模地融入業(yè)務(wù)系統(tǒng)。因此， AI安全測試必須高度自動化，并無縫集成到現(xiàn)有安全工具和工作流程中，以防成為拖慢系統(tǒng)上線速度的瓶頸。

人工測試仍是必須選項

中國的企業(yè)機構(gòu)尚未完全依賴自動化的 AI安全測試（AI-ST）工具，對于自定義的測試場景來說，人工測試仍是必須。

中國的AI安全測試正逐步拓展為 “ 廣義安全 ” 測試

為響應(yīng)各類監(jiān)管標(biāo)準(zhǔn)，中國的AI安全測試正在從傳統(tǒng)的網(wǎng)絡(luò)安全測試，逐步拓展為涵蓋違規(guī)、歧視與偏見等問題的 “ 廣義安全 ” 測試。這些領(lǐng)域通常超出網(wǎng)絡(luò)安全團(tuán)隊的傳統(tǒng)職責(zé)范圍，凸顯了更高層級的統(tǒng)籌協(xié)調(diào)與戰(zhàn)略規(guī)劃在 AI 安全測試中的必要性。

企業(yè)機構(gòu)面臨新的安全挑戰(zhàn)

在嘗試使用AI智能體來實現(xiàn)業(yè)務(wù)流程自動化時，企業(yè)機構(gòu)面臨新的安全挑戰(zhàn)，主要涉 及四個方面：外部調(diào)用安全、AI智能體的身份與訪問管理（IAM）、行為可控性以及規(guī)劃完整性。 AI智能體的測試復(fù)雜度遠(yuǎn)高于通用 AI，測試人員必須具備領(lǐng)域?qū)I(yè)知識， 不僅需要懂業(yè)務(wù)邏輯，還要能夠理解智能體應(yīng)用場景。

Gartner高級研究總監(jiān)趙宇表示：“中國的CIO必須將AI安全測試視為戰(zhàn)略賦能工具，而不僅僅是合規(guī)成本，因為其有助于識別風(fēng)險，并能加快AI在關(guān)鍵職能中的安全采用。”

針對上述一些目前切實存在的情況與挑戰(zhàn)，Gartner給出建議如下：

評估并升級現(xiàn)有安全測試工具，研究專用的AI安全測試工具以彌補能力缺口。定期開展針對AI的滲透測試和紅隊演練。

建立持續(xù)測試流程，將AI安全測試集成到持續(xù)集成 / 持續(xù)交付（CI/CD）流水線和安全運營中。

采用人機結(jié)合的混合測試模式，同時利用人類智能與自動化方法，以應(yīng)對復(fù)雜、動態(tài)、上下文相關(guān)的漏洞。

組建跨職能團(tuán)隊，集合技術(shù)、業(yè)務(wù)和合規(guī)方面的專業(yè)能力，確保AI安全測試的全面性、相關(guān)性，以及與企業(yè)目標(biāo)和外部要求的一致性。