近日，全國網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)秘書處發(fā)布國家標(biāo)準(zhǔn)《網(wǎng)絡(luò)安全技術(shù) 生成式人工智能服務(wù)安全基本要求》(以下簡(jiǎn)稱《要求》)征求意見稿征求意見的通知，以確保標(biāo)準(zhǔn)質(zhì)量?！兑蟆分刑岢龈采w生成式人工智能服務(wù)全生命周期的安全要求，以防范化解服務(wù)過程中的應(yīng)用場(chǎng)景安全風(fēng)險(xiǎn)、軟硬件環(huán)境安全風(fēng)險(xiǎn)、生成內(nèi)容安全風(fēng)險(xiǎn)以及權(quán)益保障安全風(fēng)險(xiǎn)等。

《要求》參考文獻(xiàn)

• 《TC260-PG-20233A 網(wǎng)絡(luò)安全標(biāo)準(zhǔn)實(shí)踐指南—生成式人工智能服務(wù)內(nèi)容標(biāo)識(shí)方法》
• 《中華人民共和國網(wǎng)絡(luò)安全法》
• 《中華人民共和國密碼法》
• 《商用密碼管理?xiàng)l例》
• 《生成式人工智能服務(wù)管理暫行辦法》

《要求》概述

旨在幫助服務(wù)提供者明確生成式人工智能服務(wù)網(wǎng)絡(luò)安全基線、提高服務(wù)安全水平，針對(duì)當(dāng)前生成式人工智能服務(wù)面臨的網(wǎng)絡(luò)安全、數(shù)據(jù)安全、個(gè)人信息保護(hù)等關(guān)鍵問題，提出覆蓋服務(wù)全生命周期的安全要求，防范化解服務(wù)過程中的應(yīng)用場(chǎng)景安全風(fēng)險(xiǎn)、軟硬件環(huán)境安全風(fēng)險(xiǎn)、生成內(nèi)容安全風(fēng)險(xiǎn)以及權(quán)益保障安全風(fēng)險(xiǎn)等。

針對(duì)生成式人工智能服務(wù)上線前的模型研發(fā)過程，本文件重點(diǎn)關(guān)注訓(xùn)練數(shù)據(jù)來源安全、訓(xùn)練數(shù)據(jù)內(nèi)容安全、數(shù)據(jù)標(biāo)注安全，以及模型安全。針對(duì)面向公眾開放后的服務(wù)提供過程，本文件重點(diǎn)關(guān)注在提供服務(wù)過程中應(yīng)采取的安全措施。

《要求》主要對(duì)訓(xùn)練數(shù)據(jù)安全、模型安全、安全措施等3個(gè)方面提出了相關(guān)要求，主要內(nèi)容如下：

訓(xùn)練數(shù)據(jù)安全要求

數(shù)據(jù)來源安全

對(duì)服務(wù)提供者的要求如下。

a)采集來源管理：

1)面向特定數(shù)據(jù)來源進(jìn)行采集前，應(yīng)對(duì)該來源數(shù)據(jù)進(jìn)行安全評(píng)估，數(shù)據(jù)內(nèi)容中含違法不良信息超過5%的，不應(yīng)采集該來源數(shù)據(jù);

2)面向特定數(shù)據(jù)來源進(jìn)行采集后，應(yīng)對(duì)所采集的該來源數(shù)據(jù)進(jìn)行核驗(yàn)，含違法不良信息情況超過5%的，不應(yīng)使用該來源數(shù)據(jù)進(jìn)行訓(xùn)練。

注：本文件關(guān)注的違法不良信息主要是指包含附錄A.1到A.4中29種安全風(fēng)險(xiǎn)的信息。

b)不同來源訓(xùn)練數(shù)據(jù)搭配：

1)應(yīng)提高訓(xùn)練數(shù)據(jù)來源的多樣性，對(duì)每一種語言的訓(xùn)練數(shù)據(jù)，如中文、英文等，以及每一種類型的訓(xùn)練數(shù)據(jù)，如文本、圖片、音頻、視頻等，均應(yīng)有多個(gè)訓(xùn)練數(shù)據(jù)來源;

2)如需使用境外來源訓(xùn)練數(shù)據(jù)，應(yīng)與境內(nèi)來源訓(xùn)練數(shù)據(jù)進(jìn)行合理搭配。

c)訓(xùn)練數(shù)據(jù)來源可追溯：

1)使用開源訓(xùn)練數(shù)據(jù)時(shí)，應(yīng)具有該數(shù)據(jù)來源的開源許可協(xié)議或相關(guān)授權(quán)文件;注1：對(duì)于匯聚了網(wǎng)絡(luò)地址、數(shù)據(jù)鏈接等能夠指向或生成其他數(shù)據(jù)的情況，如果需要使用這些被指向或生成的內(nèi)容作為訓(xùn)練數(shù)據(jù)，應(yīng)將其視同于自采訓(xùn)練數(shù)據(jù)。

2)使用自采訓(xùn)練數(shù)據(jù)時(shí)，應(yīng)具有采集記錄，不應(yīng)采集他人已明確不可采集的數(shù)據(jù);注2：自采訓(xùn)練數(shù)據(jù)包括自行生產(chǎn)的數(shù)據(jù)以及從互聯(lián)網(wǎng)采集的數(shù)據(jù)。

注3：明確不可采集的數(shù)據(jù)，例如已通過robots協(xié)議或其他限制采集的技術(shù)手段明確表明不可采集的網(wǎng)頁數(shù)據(jù)，或個(gè)人已拒絕授權(quán)采集的個(gè)人信息等。

3)使用商業(yè)訓(xùn)練數(shù)據(jù)時(shí)：

—— 應(yīng)有具備法律效力的交易合同、合作協(xié)議等;

—— 交易方或合作方不能提供數(shù)據(jù)來源、質(zhì)量、安全等方面的承諾以及相關(guān)證明材料時(shí)，不應(yīng)使用該訓(xùn)練數(shù)據(jù);

—— 應(yīng)對(duì)交易方或合作方所提供訓(xùn)練數(shù)據(jù)、承諾、材料進(jìn)行審核。

4)將使用者輸入信息當(dāng)作訓(xùn)練數(shù)據(jù)時(shí)，應(yīng)具有使用者授權(quán)記錄。

數(shù)據(jù)內(nèi)容安全

對(duì)服務(wù)提供者的要求如下。

a)訓(xùn)練數(shù)據(jù)內(nèi)容過濾：對(duì)于每一種類型的訓(xùn)練數(shù)據(jù)，如文本、圖片、音頻、視頻等，應(yīng)在將數(shù)據(jù)用于訓(xùn)練前，對(duì)全部訓(xùn)練數(shù)據(jù)進(jìn)行過濾，過濾方法包括但不限于關(guān)鍵詞、分類模型、人工抽檢等，去除數(shù)據(jù)中的違法不良信息。

b)知識(shí)產(chǎn)權(quán)：

1)應(yīng)有訓(xùn)練數(shù)據(jù)知識(shí)產(chǎn)權(quán)管理策略，并明確負(fù)責(zé)人;

2)數(shù)據(jù)用于訓(xùn)練前，應(yīng)對(duì)數(shù)據(jù)中的主要知識(shí)產(chǎn)權(quán)侵權(quán)風(fēng)險(xiǎn)進(jìn)行識(shí)別，發(fā)現(xiàn)存在知識(shí)產(chǎn)權(quán)侵權(quán)等問題的，服務(wù)提供者不應(yīng)使用相關(guān)數(shù)據(jù)進(jìn)行訓(xùn)練; 注：訓(xùn)練數(shù)據(jù)中包含文學(xué)、藝術(shù)、科學(xué)作品的，需要重點(diǎn)識(shí)別訓(xùn)練數(shù)據(jù)以及生成內(nèi)容中著作權(quán)侵權(quán)問題。

3)應(yīng)建立針對(duì)知識(shí)產(chǎn)權(quán)問題的投訴舉報(bào)渠道;

4)應(yīng)在用戶服務(wù)協(xié)議中，向使用者告知使用生成內(nèi)容的知識(shí)產(chǎn)權(quán)相關(guān)風(fēng)險(xiǎn)，并與使用者約定相關(guān)責(zé)任與義務(wù);

5)應(yīng)及時(shí)根據(jù)國家政策以及第三方投訴情況更新知識(shí)產(chǎn)權(quán)相關(guān)策略;

6)宜具備以下知識(shí)產(chǎn)權(quán)措施：

—— 公開訓(xùn)練數(shù)據(jù)中涉及知識(shí)產(chǎn)權(quán)部分的摘要信息;

—— 在投訴舉報(bào)渠道中支持第三方就訓(xùn)練數(shù)據(jù)使用情況以及相關(guān)知識(shí)產(chǎn)權(quán)情況進(jìn)行查詢。c)個(gè)人信息方面：

1)在使用包含個(gè)人信息的訓(xùn)練數(shù)據(jù)前，應(yīng)取得對(duì)應(yīng)個(gè)人同意或者符合法律、行政法規(guī)規(guī)定的其他情形;

2)在使用包含敏感個(gè)人信息的訓(xùn)練數(shù)據(jù)前，應(yīng)取得對(duì)應(yīng)個(gè)人單獨(dú)同意或者符合法律、行政法規(guī)規(guī)定的其他情形。

數(shù)據(jù)標(biāo)注安全

對(duì)服務(wù)提供者的要求如下。

a)標(biāo)注人員方面：

1)應(yīng)自行組織對(duì)于標(biāo)注人員的安全培訓(xùn)，培訓(xùn)內(nèi)容應(yīng)包括標(biāo)注任務(wù)規(guī)則、標(biāo)注工具使用方法、標(biāo)注內(nèi)容質(zhì)量核驗(yàn)方法、標(biāo)注數(shù)據(jù)安全管理要求等;

2)應(yīng)自行對(duì)標(biāo)注人員進(jìn)行考核，給予合格者標(biāo)注上崗資格，并有定期重新培訓(xùn)考核以及必要時(shí)暫?；蛉∠麡?biāo)注上崗資格的機(jī)制，考核內(nèi)容應(yīng)包括標(biāo)注規(guī)則理解能力、標(biāo)注工具使用能力、安全風(fēng)險(xiǎn)判定能力、數(shù)據(jù)安全管理能力等;

3)應(yīng)將標(biāo)注人員職能至少劃分為數(shù)據(jù)標(biāo)注、數(shù)據(jù)審核等;在同一標(biāo)注任務(wù)下，同一標(biāo)注人員不應(yīng)承擔(dān)多項(xiàng)職能;

4)應(yīng)為標(biāo)注人員執(zhí)行每項(xiàng)標(biāo)注任務(wù)預(yù)留充足、合理的標(biāo)注時(shí)間。

b)標(biāo)注規(guī)則方面：

1)標(biāo)注規(guī)則應(yīng)至少包括標(biāo)注目標(biāo)、數(shù)據(jù)格式、標(biāo)注方法、質(zhì)量指標(biāo)等內(nèi)容;

2)應(yīng)對(duì)功能性標(biāo)注以及安全性標(biāo)注分別制定標(biāo)注規(guī)則，標(biāo)注規(guī)則應(yīng)至少覆蓋數(shù)據(jù)標(biāo)注以及數(shù)據(jù)審核等環(huán)節(jié);

3)功能性標(biāo)注規(guī)則應(yīng)能指導(dǎo)標(biāo)注人員按照特定領(lǐng)域特點(diǎn)生產(chǎn)具備真實(shí)性、準(zhǔn)確性、客觀性、多樣性的標(biāo)注數(shù)據(jù);

4)安全性標(biāo)注規(guī)則應(yīng)能指導(dǎo)標(biāo)注人員圍繞訓(xùn)練數(shù)據(jù)及生成內(nèi)容的主要安全風(fēng)險(xiǎn)進(jìn)行標(biāo)注，對(duì)本文件附錄A中全部31種安全風(fēng)險(xiǎn)均應(yīng)有對(duì)應(yīng)的標(biāo)注規(guī)則。

c)標(biāo)注內(nèi)容準(zhǔn)確性方面：

1)對(duì)功能性標(biāo)注，應(yīng)對(duì)每一批標(biāo)注數(shù)據(jù)進(jìn)行人工抽檢，發(fā)現(xiàn)內(nèi)容不準(zhǔn)確的，應(yīng)重新標(biāo)注;發(fā)現(xiàn)內(nèi)容中包含違法不良信息的，該批次標(biāo)注數(shù)據(jù)應(yīng)作廢;

2)對(duì)安全性標(biāo)注，每一條標(biāo)注數(shù)據(jù)至少經(jīng)由一名審核人員審核通過。d)宜對(duì)安全性標(biāo)注數(shù)據(jù)進(jìn)行隔離存儲(chǔ)。

模型安全要求

對(duì)服務(wù)提供者的要求如下。

a)模型訓(xùn)練方面：

1)在訓(xùn)練過程中，應(yīng)將生成內(nèi)容安全性作為評(píng)價(jià)生成結(jié)果優(yōu)劣的主要考慮指標(biāo)之一;

注：模型生成內(nèi)容是指模型直接輸出的、未經(jīng)其他處理的原生內(nèi)容。

2)應(yīng)定期對(duì)所使用的開發(fā)框架、代碼等進(jìn)行安全審計(jì)，關(guān)注開源框架安全及漏洞相關(guān)問題，識(shí)別和修復(fù)安全漏洞。

b)模型輸出方面：

1)生成內(nèi)容準(zhǔn)確性方面，應(yīng)采取技術(shù)措施提高生成內(nèi)容響應(yīng)使用者輸入意圖的能力，提高生成內(nèi)容中數(shù)據(jù)及表述與科學(xué)常識(shí)及主流認(rèn)知的符合程度，減少其中的錯(cuò)誤內(nèi)容;

2)生成內(nèi)容可靠性方面，應(yīng)采取技術(shù)措施提高生成內(nèi)容格式框架的合理性以及有效內(nèi)容的含量，提高生成內(nèi)容對(duì)使用者的幫助作用;

3)問題拒答方面，對(duì)明顯偏激以及明顯誘導(dǎo)生成違法不良信息的問題，應(yīng)拒絕回答;對(duì)其他問題，應(yīng)均能正?；卮?

4)圖片、視頻等生成內(nèi)容標(biāo)識(shí)方面，應(yīng)滿足國家相關(guān)規(guī)定以及標(biāo)準(zhǔn)文件要求。

c)模型監(jiān)測(cè)方面：

1)應(yīng)對(duì)模型輸入內(nèi)容持續(xù)監(jiān)測(cè)，防范惡意輸入攻擊，例如注入攻擊、后門攻擊、數(shù)據(jù)竊取、對(duì)抗攻擊等;

2)應(yīng)建立常態(tài)化監(jiān)測(cè)測(cè)評(píng)手段以及模型應(yīng)急管理措施，對(duì)監(jiān)測(cè)測(cè)評(píng)發(fā)現(xiàn)的提供服務(wù)過程中的安全問題，及時(shí)處置并通過針對(duì)性的指令微調(diào)、強(qiáng)化學(xué)習(xí)等方式優(yōu)化模型。

d)模型更新、升級(jí)方面：

1)應(yīng)制定在模型更新、升級(jí)時(shí)的安全管理策略;

2)應(yīng)形成管理機(jī)制，在模型重要更新、升級(jí)后，再次自行組織安全評(píng)估。

e)軟硬件環(huán)境方面：

1)模型訓(xùn)練、推理所采用的計(jì)算系統(tǒng)方面：

—— 應(yīng)評(píng)估系統(tǒng)所采用芯片、軟件、工具、算力等方面的供應(yīng)鏈安全，側(cè)重評(píng)估供應(yīng)持續(xù)性、穩(wěn)定性等方面;

—— 所采用芯片宜支持基于硬件的安全啟動(dòng)、可信啟動(dòng)流程及安全性驗(yàn)證。

2)應(yīng)將模型訓(xùn)練環(huán)境與推理環(huán)境隔離，避免數(shù)據(jù)泄露、不當(dāng)訪問等安全事件，隔離方式包括物理隔離與邏輯隔離。

安全措施要求

對(duì)服務(wù)提供者的要求如下。

a)服務(wù)適用人群、場(chǎng)合、用途方面：

1)應(yīng)充分論證在服務(wù)范圍內(nèi)各領(lǐng)域應(yīng)用生成式人工智能的必要性、適用性以及安全性;

2)服務(wù)用于關(guān)鍵信息基礎(chǔ)設(shè)施，以及如自動(dòng)控制、醫(yī)療信息服務(wù)、心理咨詢、金融信息服務(wù)等重要場(chǎng)合的，應(yīng)具備與風(fēng)險(xiǎn)程度以及場(chǎng)景相適應(yīng)的安全保護(hù)措施;

3)服務(wù)適用未成年人的：

—— 應(yīng)允許監(jiān)護(hù)人設(shè)定未成年人防沉迷措施;

—— 不應(yīng)向未成年人提供與其民事行為能力不符的付費(fèi)服務(wù);

—— 應(yīng)積極展示有益未成年人身心健康的內(nèi)容。

4)服務(wù)不適用未成年人的，應(yīng)采取技術(shù)或管理措施防止未成年人使用。

b)服務(wù)透明度方面：

1)以交互界面提供服務(wù)的，應(yīng)在網(wǎng)站首頁等顯著位置向社會(huì)公開服務(wù)適用的人群、場(chǎng)合、用途等信息，宜同時(shí)公開基礎(chǔ)模型使用情況;

2)以交互界面提供服務(wù)的，應(yīng)在網(wǎng)站首頁、服務(wù)協(xié)議等便于查看的位置向使用者公開以下信息：

—— 服務(wù)的局限性;

—— 所使用的模型、算法等方面的概要信息;

—— 所采集的個(gè)人信息及其在服務(wù)中的用途。

3)以可編程接口形式提供服務(wù)的，應(yīng)在說明文檔中公開 1)和 2)中的信息。

c)當(dāng)收集使用者輸入信息用于訓(xùn)練時(shí)：

1)應(yīng)為使用者提供關(guān)閉其輸入信息用于訓(xùn)練的方式，例如為使用者提供選項(xiàng)或語音控制指令;關(guān)閉方式應(yīng)便捷，例如采用選項(xiàng)方式時(shí)使用者從服務(wù)主界面開始到達(dá)該選項(xiàng)所需操作不超過4次點(diǎn)擊;

2)應(yīng)將收集使用者輸入的狀態(tài)，以及 1)中的關(guān)閉方式顯著告知使用者。

d)接受公眾或使用者投訴舉報(bào)方面：

1)應(yīng)提供接受公眾或使用者投訴舉報(bào)的途徑及反饋方式，包括但不限于電話、郵件、交互窗口、短信等方式中的一種或多種;

2)應(yīng)設(shè)定接受公眾或使用者投訴舉報(bào)的處理規(guī)則以及處理時(shí)限。

e)向使用者提供服務(wù)方面：

1)應(yīng)采取關(guān)鍵詞、分類模型等方式對(duì)使用者輸入信息進(jìn)行檢測(cè)，應(yīng)設(shè)置并向使用者公示以下規(guī)則：在使用者連續(xù)多次輸入違法不良信息或一天內(nèi)累計(jì)輸入違法不良信息達(dá)到一定次數(shù)時(shí)，采取暫停提供服務(wù)等處置措施;

2)應(yīng)設(shè)置監(jiān)看人員，并及時(shí)根據(jù)監(jiān)看情況提高生成內(nèi)容質(zhì)量及安全，監(jiān)看人員數(shù)量應(yīng)與服務(wù)規(guī)模相匹配。

注：監(jiān)看人員的職責(zé)包括及時(shí)跟蹤國家政策、收集分析第三方投訴情況等。

f)服務(wù)穩(wěn)定、持續(xù)方面，應(yīng)建立數(shù)據(jù)、模型、框架、工具等的備份機(jī)制以及恢復(fù)策略，重點(diǎn)確保業(yè)務(wù)連續(xù)性。

資料鏈接：
https://www.tc260.org.cn/front/bzzqyjDetail.html?id=20240523143149&norm_id=20240430101922&recode_id=55010
全文鏈接：
https://www.tc260.org.cn/file/2024-05-17/9e2853d0-99a0-49c2-9df7-ccaada842ac5.pdf