《電子技術應用》
您所在的位置:首頁 > 人工智能 > 业界动态 > 国家安全部示警人工智能数据投毒

国家安全部示警人工智能数据投毒

2025-08-05
來源:IT之家
關鍵詞: 人工智能 数据

8 月 5 日消息,國家安全部微信公眾號今日發文稱,當前,人工智能已深度融入經濟社會發展的方方面面,在深刻改變人類生產生活方式的同時,也成為關乎高質量發展和高水平安全的關鍵領域。然而,人工智能的訓練數據存在良莠不齊的問題,其中不乏虛假信息、虛構內容和偏見性觀點,造成數據源污染,給人工智能安全帶來新的挑戰。

000.png

文章稱,人工智能的三大核心要素是算法、算力和數據,其中數據是訓練 AI 模型的基礎要素,也是 AI 應用的核心資源。

提供 AI 模型的原料。海量數據為 AI 模型提供了充足的訓練素材,使其得以學習數據的內在規律和模式,實現語義理解、智能決策和內容生成。同時,數據也驅動人工智能不斷優化性能和精度,實現模型的迭代升級,以適應新需求。

影響 AI 模型的性能。AI 模型對數據的數量、質量及多樣性要求極高。充足的數據量是充分訓練大規模模型的前提;高準確性、完整性和一致性的數據能有效避免誤導模型;覆蓋多個領域的多樣化數據,則能提升模型應對實際復雜場景的能力。

促進 AI 模型的應用。數據資源的日益豐富,加速了“人工智能 +”行動的落地,有力促進了人工智能與經濟社會各領域的深度融合。這不僅培育和發展了新質生產力,更推動我國科技跨越式發展、產業優化升級、生產力整體躍升。

文章稱,高質量的數據能夠顯著提升模型的準確性和可靠性,但數據一旦受到污染,則可能導致模型決策失誤甚至 AI 系統失效,存在一定的安全隱患。

投放有害內容。通過篡改、虛構和重復等“數據投毒”行為產生的污染數據,將干擾模型在訓練階段的參數調整,削弱模型性能、降低其準確性,甚至誘發有害輸出。研究顯示,當訓練數據集中僅有 0.01% 的虛假文本時,模型輸出的有害內容會增加 11.2%;即使是 0.001% 的虛假文本,其有害輸出也會相應上升 7.2%。

造成遞歸污染。受到數據污染的人工智能生成的虛假內容,可能成為后續模型訓練的數據源,形成具有延續性的“污染遺留效應”。當前,互聯網 AI 生成內容在數量上已遠超人類生產的真實內容,大量低質量及非客觀數據充斥其中,導致 AI 訓練數據集中的錯誤信息逐代累積,最終扭曲模型本身的認知能力。

引發現實風險。數據污染還可能引發一系列現實風險,尤其在金融市場、公共安全和醫療健康等領域。在金融領域,不法分子利用 AI 炮制虛假信息,造成數據污染,可能引發股價異常波動,構成新型市場操縱風險;在公共安全領域,數據污染容易擾動公眾認知、誤導社會輿論,誘發社會恐慌情緒;在醫療健康領域,數據污染則可能致使模型生成錯誤診療建議,不僅危及患者生命安全,也加劇偽科學的傳播。

文章最后提出應對方案:

加強源頭監管,防范污染生成。以《網絡安全法》《數據安全法》《個人信息保護法》等法律法規為依據,建立 AI 數據分類分級保護制度,從根本上防范污染數據的產生,助力有效防范 AI 數據安全威脅。

強化風險評估,保障數據流通。加強對人工智能數據安全風險的整體評估,確保數據在采集、存儲、傳輸、使用、交換和備份等全生命周期環節安全。同步加快構建人工智能安全風險分類管理體系,不斷提高數據安全綜合保障能力。

末端清洗修復,構建治理框架。定期依據法規標準清洗修復受污數據。依據相關法律法規及行業標準,制定數據清洗的具體規則。逐步構建模塊化、可監測、可擴展的數據治理框架,實現持續管理與質量把控。



Magazine.Subscription.jpg

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 国产麻豆日韩| 久久在线免费观看视频| 欧美激情久久久久久| 欧美一级片久久久久久久| 一区二区视频在线免费| 99精品欧美一区二区三区| 97精品免费视频| 天天干天天色天天爽| 日韩中文字幕二区| 热久久精品国产| 久久99视频精品v| 久久韩国免费视频| 国产精品高清网站| 日韩在线免费视频V| 久久99视频免费| 亚洲一区国产精品| 久久av一区二区| 国产精品久久久久高潮| 精品中文字幕乱| 一区二区三区在线视频看| 日韩人妻精品一区二区三区| 久久精品国产91精品亚洲| www婷婷av久久久影片| 热久久99这里有精品| 热99久久精品| 草莓视频一区| 日韩欧美精品免费| 国产日韩中文在线| 视频在线一区二区| 日韩欧美亚洲精品| 亚洲精品日韩在线观看| 久久精品国产视频| 国产精品久久久久久av| 日韩免费观看网站| 国产精品久久亚洲| 国产成人精品视| 不卡日韩av| 亚洲欧美在线网| 国产区日韩欧美| 日韩a在线播放| 亚洲一卡二卡|