摘　要：人工智能大模型現(xiàn)象級的火爆，促使人工智能與實體經(jīng)濟的加速融合與應用。人工智能安全治理攸關全人類命運，通過測試評估防范安全風險，推進人工智能發(fā)展與提升人工智能安全治理能力已成為全人類的共識。針對人工智能安全威脅由局部攻擊向系統(tǒng)化協(xié)同攻擊演化，導致單一的檢測與防護技術無法應對復合攻擊的問題，因此加速提升人工智能安全檢測能力，保障人工智能安全刻不容緩。通過梳理人工智能安全檢測政策背景、安全風險、能力現(xiàn)狀，提出了治理建議，對人工智能產(chǎn)業(yè)安全發(fā)展具有重要意義。

內(nèi)容目錄：

1　政策背景
2　安全風險
3　能力現(xiàn)狀
4　治理建議
5　結(jié)　語

人工智能（Artificial Intelligence，AI）是推動經(jīng)濟社會向智能化躍進的重要引擎，在給世界帶來巨大機遇的同時，也帶來難以預知的各種風險和復雜挑戰(zhàn)。AI 安全治理攸關全人類命運，通過測試評估防范安全風險，推進 AI 發(fā)展與提升 AI 安全治理能力已成為全人類的共識。AI 安全治理旨在解決安全風險和科技倫理問題。AI 在其自身發(fā)展帶來新的網(wǎng)絡空間伴生安全威脅的同時，也給傳統(tǒng)的網(wǎng)絡空間安全從攻擊和防護 2 個方面帶來了巨大的賦能安全效應。本文 AI 安全檢測能力特指針對 AI 伴生安全的檢測能力。

為了保障 AI 技術和 AI 應用的安全性、可靠性和可控性，國家科技部、工信部高度重視AI 安全檢測能力，以專項項目和“揭榜掛帥”評比等方式，鼓勵企業(yè)、高校和科研院所等單位研發(fā) AI 安全檢測技術，保障 AI 研發(fā)、上線和運營全生命周期的安全性。通過分析現(xiàn)階段國內(nèi)外 AI 安全檢測政策背景、AI 安全風險和我國 AI 安全檢測能力的現(xiàn)狀，給出 AI 安全治理建議，以期提升 AI 與實體經(jīng)濟融合發(fā)展和安全應用能力。

１ 政策背景

世界各國面臨的共同課題是 AI 安全治理關乎整個人類的命運。2023 年，全球多個國家和組織紛紛出臺倡議或規(guī)范，一致要求通過安全測試和評估等措施，確保 AI 安全可信。

2023 年 11 月 1 日，首屆全球 AI 安全峰會上，28 國聯(lián)署發(fā)布全球第一份針對 AI 的國際性聲明《布萊切利宣言》，該聲明表明需在 AI整個生命周期中考慮安全問題，開發(fā)者對高風險的 AI 系統(tǒng)安全性負有重大責任，需要采取適當?shù)拇胧?，如安全測試和評估等，以衡量、監(jiān)測和緩解 AI 潛在的有害能力及其可能帶來的影響。

2023 年 10 月 30 日，七國集團發(fā)布《開發(fā)先進人工智能系統(tǒng)組織的國際行為準則》，共包含 11 項內(nèi)容，強調(diào)了開發(fā)過程中應采取的措施，以確保人工智能系統(tǒng)的可信性、安全性和保障性。其中，開發(fā)人員需要通過紅隊測試、測試和緩解措施等方式識別并減輕風險。同時，開發(fā)者也需要對部署后的漏洞、事件、業(yè)務模式進行識別和風險分析，包括監(jiān)控漏洞和事件，推動第三方和用戶發(fā)現(xiàn)并上報問題。

2023 年 10 月 18 日，中央網(wǎng)信辦發(fā)布《全球人工智能治理倡議》，推動建立風險等級測試評估體系，實施敏捷治理，分類分級管理，快速有效響應。研發(fā)主體需要提高 AI 可解釋性和可預測性，以提升數(shù)據(jù)真實性和準確性，確保AI 始終處于人類控制之下，打造可審核、可監(jiān)督、可追溯和可信賴的 AI 技術。同時，積極開發(fā)相關技術及應用，用于 AI 治理，支持應用 AI技術進行風險防范和治理能力提升。

2 安全風險

受益于近年來深度學習技術的不斷發(fā)展，“AI+”賦能千行百業(yè)，其安全風險也逐步顯現(xiàn)。在金融行業(yè)，“刷臉登錄”“刷臉支付”等技術使人類生活更加便利，但是容易受到針對使用場景及算法模型的逃逸攻擊、假冒攻擊的威脅，造成經(jīng)濟損失；在政務領域，依托于 AI 可以實現(xiàn)業(yè)務的智能合約，重構(gòu)并實現(xiàn)跨層級、跨地域、跨系統(tǒng)、跨部門、跨業(yè)務的信任和協(xié)同，但針對核心數(shù)據(jù)可能引發(fā)不可逆轉(zhuǎn)的泄密事件；在電子商務行業(yè)，智能客服、智能推薦系統(tǒng)等大幅提升了電子商務管理平臺的工作效率，但通過數(shù)據(jù)投毒等攻擊手段可能使系統(tǒng)功能失效造成不必要的經(jīng)濟損失。

AI 安全框架如圖 1 所示 ，包含安全目標、安全風險、安全測評、安全保障 4 大維度。AI安全實踐分為 4 個核心步驟：第 1 步設立人視角的應用安全和系統(tǒng)視角的技術安全目標，第 2步梳理 AI 衍生和內(nèi)生安全風險，第 3 步測評數(shù)據(jù)、算法、基礎設施和系統(tǒng)應用風險程度，第 4步運用管理和技術相結(jié)合的方式保障安全。內(nèi)生安全是 AI 技術自身在魯棒性、可解釋性等方面存在的缺陷；衍生安全是 AI 技術在應用的過程中，由于不當使用或外部攻擊造成 AI 系統(tǒng)功能失效 ?？傮w而言，AI 安全風險主要包含以下 4 類。

圖 1 AI 安全框架

（1）數(shù)據(jù)安全風險。攻擊者利用模型的輸出信息類型可以開展模型盜取攻擊和訓練數(shù)據(jù)盜取攻擊，在機器學習模型訓練和應用過程中，所使用的數(shù)據(jù)和模型參數(shù)都有被泄露的風險。攻擊者根據(jù)目標攻擊模型查詢樣本獲取目標攻擊模型的預測結(jié)果，從而導致模型參數(shù)泄露，生成替代模型進而構(gòu)成知識產(chǎn)權(quán)的侵犯。攻擊者也可以推斷訓練數(shù)據(jù)集是否隸屬于目標攻擊模型，進而獲得相關信息及訓練數(shù)據(jù)的隱私信息，再使用特定的測試數(shù)據(jù)進行攻擊。

（2）算法模型安全風險。針對深度學習算法提取樣本特征的特點，在不改變目標深度學習系統(tǒng)的前提下，通過構(gòu)造輸入樣本，使系統(tǒng)輸出錯誤的結(jié)果以對抗樣本攻擊，可分為假冒攻擊（即定向攻擊）和躲避攻擊（即非定向攻擊）。攻擊者誤導深度學習系統(tǒng)輸出特定的錯誤結(jié)果，例如攻擊者 A 可以解鎖用戶 B 手機中的人臉識別系統(tǒng)。攻擊者也可以誤導深度學習系統(tǒng)輸出非特定的錯誤結(jié)果，例如攻擊者在監(jiān)控攝像頭下實現(xiàn)人員隱身或身份誤判。

（3）學習框架安全風險。AI 算法基于學習框架完成模型搭建、訓練和運行，深度學習框架需要依賴于大量的基礎庫和第三方組件支持，組件的依賴復雜度會嚴重降低深度學習框架的安全性 。某個組件開發(fā)者的疏忽，或者不同組件開發(fā)者之間開發(fā)規(guī)范的不統(tǒng)一，都可能向深度學習框架引入漏洞。攻擊者可以基于控制流改寫 AI 系統(tǒng)的關鍵數(shù)據(jù)，或者通過數(shù)據(jù)流劫持控制代碼執(zhí)行，實現(xiàn)對 AI 系統(tǒng)的干擾、控制甚至破壞。

（4）系統(tǒng)應用安全風險。不當使用（濫用、誤用）、外部攻擊（注入攻擊）和業(yè)務設計安全（權(quán)限設置、功能安全）都會引發(fā) AI 系統(tǒng)應用安全風險。攻擊者通過提示詞技術輸入錯誤數(shù)據(jù)使AI 系統(tǒng)自學習到錯誤信息，也可以通過智能終端、應用軟件的漏洞對 AI 系統(tǒng)實施注入攻擊，如以人臉識別系統(tǒng)、智能語音助手為入口攻擊后臺業(yè)務系統(tǒng)，還可以利用業(yè)務設計缺陷實施攻擊，如角色操作權(quán)限設置不當、應用場景風險考慮不足。

３ 能力現(xiàn)狀

目前，我國在 AI 安全領域已取得一定成果，但安全檢測、防護和監(jiān)測預警技術仍不夠完善，導致 AI 在高安全等級領域應用落地受到制約。AI 安全治理是一個復雜龐大的系統(tǒng)性工程，需從 AI 安全理論、標準和檢測 3 個方面，全面夯實 AI 安全體系。

學術界形成了 AI 魯棒性、公平性、可解釋性和隱私性等理論研究 。

在魯棒性方面，通過模型表現(xiàn)、樣本擾動和模型邊界綜合評價模型的魯棒性，模型表現(xiàn)是指模型在不同對抗環(huán)境下的性能，樣本擾動是指評估對抗樣本與自然樣本的平均結(jié)構(gòu)失真度，模型邊界是指在模型預測正確前提下的樣本擾動程度。

在公平性方面，從數(shù)據(jù)群體和數(shù)據(jù)個體的角度評估數(shù)據(jù)集，訓練并計算數(shù)據(jù)集的潛在歧視程度。

在可解釋性方面，通過解釋保真度、解釋可信度和平均定位準確率等方法給出樣本可解釋性等級。

在隱私性方面，隱私性評估指標代表數(shù)據(jù)泄露行為的風險等級，分為低風險、中風險與高風險。

國標委制定了 AI 算法安全、數(shù)據(jù)安全和生成式 AI 服務安全等方面的標準規(guī)范。

在算法安全方面，國家標準 GB/T 42888—2023《信息安全技術 機器學習算法安全評估規(guī)范》規(guī)定了機器學習算法技術和服務的安全要求與評估方法，以及機器學習算法安全評估流程，指導相關方保障機器學習算法生存周期安全及開展機器學習算法安全評估。團體標準 AIOSS-01-2018《人工智能深度學習算法評估規(guī)范》提出了 AI 深度學習算法的評估指標體系，制定了評估流程，以指導相關方對深度學習算法的可靠性開展評估工作。

在數(shù)據(jù)安全方面，GB/T 37988—2019《信息安全技術 數(shù)據(jù)安全能力成熟度模型》評估機構(gòu)數(shù)據(jù)安全能力，用組織的能力成熟度來評估安全風險，從技術維度對數(shù)據(jù)生存周期安全過程進行測評。特別在生物特征識別領域有GB/T 41819—2022《信息安全技術 人臉識別數(shù)據(jù)安全要求》、GB/T 41773—2022《信息安全技術 步態(tài)識別數(shù)據(jù)安全要求》、GB/T 41807—2022《信息安全技術 聲紋識別數(shù)據(jù)安全要求》、GB/T 41806—2022《信息安全技術 基因識別數(shù)據(jù)安全要求》4 項數(shù)據(jù)安全標準，規(guī)定了對人臉識別、步態(tài)識別、聲紋識別、基因識別的數(shù)據(jù)收集、存儲、傳輸、使用、加工、提供、公開、刪除等數(shù)據(jù)處理活動的安全要求。

在生成式 AI服務安全方面，在研國家標準《網(wǎng)絡安全技術生成式人工智能服務安全基本要求》《網(wǎng)絡安全技術 生成式人工智能數(shù)據(jù)標注安全規(guī)范》《網(wǎng)絡安全技術 生成式人工智能預訓練和優(yōu)化訓練數(shù)據(jù)安全規(guī)范》，規(guī)定了生成式 AI 服務在語料安全、模型安全和安全措施等方面的基本要求，及預訓練數(shù)據(jù)、優(yōu)化訓練數(shù)據(jù)和數(shù)據(jù)標注安全的要求及測評方法。

產(chǎn)業(yè)界研發(fā)了 AI 安全檢測、防護和監(jiān)測預警技術、工具和平臺。

在技術方面，重點研發(fā)模型數(shù)據(jù)泄露測評技術、數(shù)字世界和物理世界對抗攻擊測評和防護技術、模型后門檢測和防護技術、多場景模型安全測評技術、模型供應鏈監(jiān)測預警技術等。

在工具方面，主要包括針對機器學習框架的安全性評測工具360 AIFater、對抗環(huán)境下的算法安全性檢測與加固的工具華為 MindArmour、百度 AdvBox。

在平臺方面，主要有通用 AI 安全檢測平臺、AI 算法安全檢測平臺、大模型安全檢測平臺、生態(tài)鏈安全檢測平臺和 AI 安全風險監(jiān)測預警平臺。

其中，通用 AI安全檢測平臺覆蓋數(shù)據(jù)、算法 / 模型、框架和系統(tǒng)多個維度，可全面評估 AI 系統(tǒng)安全狀況，如浙江大學“AI 安全評測平臺 AIcert”；AI 算法安全檢測平臺支持針對對抗樣本攻擊、模型后門攻擊等安全風險的檢測和防御，如瑞萊智慧“AI安全平臺 realsafe”；大模型安全檢測平臺針對大模型的幻覺、偏見歧視、數(shù)據(jù)隱私等安全風險，以及生成式內(nèi)容濫用于惡意活動的危害，提供全面系統(tǒng)的自動化檢測和防御，如螞蟻科技“蟻天鑒大模型安全檢測平臺”；生態(tài)鏈安全檢測平臺覆蓋數(shù)據(jù)處理、訓練，模型轉(zhuǎn)化、部署，服務上線、運營，檢測范圍包含大模型應用服務、機器學習運維平臺、云端機器學習訓練等 AI 軟件生態(tài)鏈安全檢測，如奇虎科技“AI 系統(tǒng)安全檢測平臺 AISE”；AI 安全風險監(jiān)測預警平臺面向制造、金融、政務、電商和交通等行業(yè)，覆蓋圖像識別、人臉識別、目標檢測和生成式 AI等關鍵應用場景，通過捕獲智能系統(tǒng)在行業(yè)應用的安全等級和需求，實時監(jiān)測業(yè)務場景并提供風險預警，如電子科技大學“AI 風險監(jiān)測預警平臺”。

４ 治理建議

我國 AI 發(fā)展正進入技術創(chuàng)新迭代持續(xù)加速和融合應用拓展深化的新階段，亟須進一步完善AI 發(fā)展應用的治理方案、標準體系和檢測能力，為 AI 促進經(jīng)濟高質(zhì)量發(fā)展提供有效安全保障。

一是研究 AI 安全可信指南，制訂適宜國情的治理方案。在全球化的背景與浪潮下，積極參與國際 AI 治理相關工作，提升我國國際規(guī)則制定的參與度和影響力。結(jié)合我國 AI 產(chǎn)業(yè)的發(fā)展特點，借鑒國外 AI 安全風險治理原則、政策和標準等，明晰各方責任、管理技術結(jié)合、貫穿生命周期和動態(tài)平衡調(diào)整的要求，從內(nèi)設架構(gòu)、制度建設、目標設計、數(shù)據(jù)管理、模型訓練、測試驗證、運營監(jiān)測和協(xié)同溝通 8 個維度開展AI 設計、開發(fā)、部署、使用和維護全生命周期的安全治理。

二是統(tǒng)籌規(guī)劃 AI 安全標準體系，加強基礎安全、應用安全方面的標準制定。鼓勵產(chǎn)學研用各方積極參與國際標準化工作，加快制定國家標準、行業(yè)標準和團體標準。研制 AI 通用安全參考架構(gòu)，保障 AI 系統(tǒng)安全所涉及的利益相關方、相關方角色活動和安全功能視圖等，為后續(xù)具體規(guī)范 AI 各方面安全提供參考。研制 AI開源框架、AI 開發(fā)平臺、AI 計算平臺方面的安全標準，為 AI 核心資產(chǎn)提供安全的運算環(huán)境以及具有針對性的安全保護措施。除此之外，還需深化 AI 應用安全標準的研究，如大語言模型應用安全技術規(guī)范。

三是加快建設 AI 安全檢測能力，不斷提升AI 技術的安全性、可靠性、可控性和公平性。以數(shù)據(jù)、模型為兩大核心要素，實現(xiàn) AI 系統(tǒng)在數(shù)據(jù)采集、模型訓練、模型推理及模型部署等全生命周期的安全性檢測、量化評估與防御加固，提升 AI 系統(tǒng)安全性與魯棒性，同時對人臉識別身份認證和自動駕駛智能感知等應用場景下的模型提供防御加固能力。大模型的發(fā)展將會產(chǎn)生一些新的安全攻擊手段與漏洞，應前置考慮大模型合規(guī)、幻覺、偏見歧視和數(shù)據(jù)隱私等問題，防御思路從被動變?yōu)橹鲃印?/span>

５ 結(jié)　語

AI 大模型風靡全球，從感知到認知，從專用到通用，從判別式到生成式，從單模態(tài)到多模態(tài)交互，創(chuàng)造了通用 AI 到來的可能，AI 正在全球范圍內(nèi)迎來新一輪高速發(fā)展。我國發(fā)布《全球人工智能治理倡議》等文件，強調(diào)建立風險等級測試評估體系，利用 AI 技術防范風險，提升治理能力。

此外，我國 AI 治理方案、標準體系和檢測能力都已經(jīng)初步建立，下一步還需與應用場景相結(jié)合深化現(xiàn)有治理能力，實現(xiàn) AI 促進經(jīng)濟高質(zhì)量發(fā)展和高水平安全的統(tǒng)一。受限于作者的認知水平，本文分析的 AI 安全檢測能力現(xiàn)狀的維度不夠全面，研究的技術深度不足。下一步，將與實際案例結(jié)合，深入研究如何通過 AI 安全檢測護航 AI 安全。

引用格式：朱倩倩 , 張振乾 , 高云龍 . 我國人工智能安全檢測能力現(xiàn)狀及治理建議 [J]. 信息安全與通信保密 ,2024(5):62-68.
作者簡介 >>>
朱倩倩，女，碩士，工程師，主要研究方向為人工智能安全、圖像識別、自然語言處理；
張振乾，男，博士，工程師，主要研究方向為人工智能產(chǎn)業(yè)發(fā)展與融合應用；
高云龍，通信作者，男，博士，工程師，主要研究方向為人工智能安全、智能算力、數(shù)據(jù)管理。
選自《信息安全與通信保密》2024年第5期（為便于排版，已省去原文參考文獻）
重要聲明：本文來自信息安全與通信保密雜志社，經(jīng)授權(quán)轉(zhuǎn)載，版權(quán)歸原作者所有，不代表銳成觀點，轉(zhuǎn)載的目的在于傳遞更多知識和信息。