5月20日，河北省保定市徐水區(qū)一家現(xiàn)代農(nóng)業(yè)示范園區(qū)的工作人員在智能溫室內(nèi)定植水培蔬菜幼苗。近年來，河北省保定市徐水區(qū)依托現(xiàn)代農(nóng)業(yè)示范園區(qū)建設(shè)，將“工業(yè)化”理念引入農(nóng)業(yè)生產(chǎn)，發(fā)展培育品牌農(nóng)業(yè)、智慧農(nóng)業(yè)、生態(tài)旅游農(nóng)業(yè)等特色高效農(nóng)業(yè)，輻射帶動農(nóng)業(yè)增效和農(nóng)民增收，賦能鄉(xiāng)村產(chǎn)業(yè)振興。新華社記者朱旭東 攝

近年來，全球人工智能（AI）產(chǎn)業(yè)蓬勃發(fā)展，今年ChatGPT更是引爆了新一輪投資和競爭浪潮，人工智能已成為新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量。《經(jīng)濟參考報》記者在調(diào)研中發(fā)現(xiàn)，人工智能正顯露出對網(wǎng)絡(luò)安全行業(yè)的巨大影響力和應(yīng)用潛力，如何應(yīng)對人工智能可能帶來的安全問題成為各界關(guān)注點，也成為網(wǎng)絡(luò)安全工作的下一個著力點。

人工智能產(chǎn)業(yè)發(fā)展迅速

近年來，人工智能產(chǎn)業(yè)加速發(fā)展。據(jù)中國信通院測算，2022年我國人工智能核心產(chǎn)業(yè)規(guī)模達5080億元，同比增長18%，企業(yè)數(shù)量超過4000家，中國人工智能產(chǎn)業(yè)已進入全球第一梯隊。另據(jù)預(yù)測，2030年我國人工智能核心產(chǎn)業(yè)規(guī)模將超過1萬億元人民幣，全球人工智能市場規(guī)模將達到16萬億美元。美國商會今年3月的報告指出，在未來20年里，“幾乎所有企業(yè)和政府機構(gòu)”都將使用人工智能，人工智能將對社會、經(jīng)濟和國家安全產(chǎn)生深遠影響。

中國科學(xué)技術(shù)部部長王志剛近日在第七屆世界智能大會上表示，當前全球人工智能發(fā)展進入新一輪躍升期，超大規(guī)模預(yù)訓(xùn)練模型的重大突破實現(xiàn)了人工智能的一次歷史性跨越，探索出通往通用人工智能的可能路徑，潛在創(chuàng)新發(fā)展空間巨大。

當前，主要發(fā)達國家均十分重視發(fā)展人工智能，美國、英國、法國、德國、加拿大、日本、印度、新加坡等國均已陸續(xù)發(fā)布了人工智能戰(zhàn)略。我國也十分重視這一領(lǐng)域的發(fā)展，2017年就印發(fā)了新一代人工智能發(fā)展規(guī)劃，提出要搶抓發(fā)展的重大戰(zhàn)略機遇，構(gòu)筑我國人工智能發(fā)展的先發(fā)優(yōu)勢。

今年，ChatGPT引發(fā)新一波人工智能投資和競爭浪潮。谷歌、meta等美歐企業(yè)和我國的百度、阿里、華為、科大訊飛等都在加緊對人工智能的研究。

業(yè)界人士預(yù)計，未來5至10年將是人工智能發(fā)展的關(guān)鍵期。僅就生成式人工智能而言，Gartner預(yù)計其將在2至5年內(nèi)進入成熟期，并將帶來大量的應(yīng)用機會和商業(yè)潛力，是未來的重要技術(shù)趨勢。

潛藏安全風險引擔憂

人工智能在網(wǎng)絡(luò)行為異常分析、網(wǎng)絡(luò)安全漏洞識別、人臉檢測、自動威脅檢測、反欺詐等很多方面都發(fā)揮了重要作用，但人工智能快速發(fā)展可能帶來的潛藏風險引發(fā)廣泛擔憂，關(guān)于人工智能發(fā)展監(jiān)管的呼聲越來越高。

中國信息協(xié)會信息安全專業(yè)委員會主任葉紅指出，全球范圍內(nèi)人工智能引發(fā)的數(shù)據(jù)泄露、網(wǎng)絡(luò)攻擊、模式誤導(dǎo)、學(xué)習反噬等安全風險日益凸顯，已成為影響和制約人工智能高質(zhì)量發(fā)展的障礙。下一階段，人工智能安全將是網(wǎng)絡(luò)安全發(fā)力的一個重點。

國家信息中心黨委專職副書記、紀委書記吳文化日前在2023西湖論劍·數(shù)字安全大會上表示，人工智能給網(wǎng)絡(luò)安全引入了三方面風險：一是網(wǎng)絡(luò)攻擊風險，人工智能在一定程度上降低了網(wǎng)絡(luò)犯罪的門檻，提高了攻擊的有效性；二是數(shù)據(jù)泄露風險，容易造成敏感數(shù)據(jù)或個人信息泄露；三是模型誤導(dǎo)風險，一旦遭受數(shù)據(jù)投毒或模型攻擊，容易引發(fā)負面輿情擴散或重要決策偏差。

人工智能發(fā)展所呈現(xiàn)的新特征帶來了安全挑戰(zhàn)。中國電信股份有限公司研究院副院長/云網(wǎng)基礎(chǔ)設(shè)施安全國家工程研究中心常務(wù)副主任李安民認為，人工智能安全不同于以往，其具有double security（雙重安全）特征。以往的安全主要是確保系統(tǒng)、對象的安全，而人工智能對象特殊，目前已進入模型驅(qū)動時代，其本身具有學(xué)習、演進、變化的能力。尤其到元宇宙時代，多元、多維、全息、全能的特征和以往狹義的網(wǎng)絡(luò)空間和網(wǎng)絡(luò)信息安全相比，人工智能涉及的安全問題范疇無論從內(nèi)涵還是外延都有極大的突破。

中國電信集團有限公司科技創(chuàng)新部總經(jīng)理/云網(wǎng)基礎(chǔ)設(shè)施安全國家工程研究中心主任王桂榮認為，由于AI技術(shù)應(yīng)用滲透到方方面面，因此有可能帶來社會生活和社會治理安全的問題。一些技術(shù)，如歧視性的算法、換臉技術(shù)等，如果應(yīng)用不當則會帶來倫理安全等風險。

國家信息技術(shù)安全研究中心原總工程師李京春認為，由于目前人工智能還不具備創(chuàng)新或聯(lián)想的特性，尚不足以對人類安全構(gòu)成威脅。但隨著技術(shù)的不斷演進，仍可能對國家安全、數(shù)據(jù)安全、網(wǎng)絡(luò)安全具有影響。

安恒信息董事長范淵日前接受媒體采訪時也從技術(shù)層面分析解釋了AI將帶來的兩個挑戰(zhàn)：一是一些自動化生成工具會帶來病毒、木馬、后門等出現(xiàn)幾率的大幅提升，甚至可能是幾百倍的提升，怎樣來對抗、來快速發(fā)現(xiàn)和快速進行智能化的防護是重要挑戰(zhàn)；二是如ChatGPT這樣的應(yīng)用大模型會伴隨大量的數(shù)據(jù)應(yīng)用，從而產(chǎn)生相關(guān)的安全漏洞風險。

業(yè)界人士還指出，人工智能應(yīng)用不當或濫用會增加網(wǎng)絡(luò)安全、信息安全的監(jiān)管成本，引發(fā)監(jiān)管滯后。中國電科首席專家董貴山對此表示，ChatGPT作為輔助工具后可能出現(xiàn)過度采集使用者信息的情況，如果ChatGPT本身的源代碼上游系統(tǒng)有漏洞，也會導(dǎo)致不同用戶的交互隱私遭泄露。

中國工程院院士沈昌祥警告，人工智能自身失誤可能會給人類帶來災(zāi)難；智能硬件可能被惡意用于恐怖襲擊；智能工具可能被用于干預(yù)和引導(dǎo)政治走向；智能化武器與軍備競賽引發(fā)國際新的擔憂。

未雨綢繆筑牢安全防護墻

業(yè)界人士認為，在人工智能發(fā)展過程中，要堅持安全可靠和創(chuàng)新發(fā)展并重，筑牢安全防護墻，應(yīng)對人工智能帶來的安全風險亟須未雨綢繆，從而真正擁抱人工智能發(fā)展帶來的機遇。

中國科學(xué)技術(shù)協(xié)會主席萬鋼近日表示，要進一步推動科技、倫理、規(guī)范、標準和技術(shù)的融合，為智能體構(gòu)建與科技向善的人類共同理念相契合的學(xué)習、理解和行為模式，以及更有效的安全性、可靠性、有效性的行為邊界。

在沈昌祥看來，人工智能發(fā)展是趨勢，但安全是發(fā)展前提，要避免產(chǎn)業(yè)盲目發(fā)展，需要構(gòu)建主動免疫人工智能安全產(chǎn)業(yè)的空間。他提出，構(gòu)建起業(yè)務(wù)信息、資源和管理的安全可信的三重防護框架，并設(shè)置基礎(chǔ)軟件安全可信、應(yīng)用軟件可信、電信安全可信和實時態(tài)勢感知四個保護等級。

我國對人工智能安全高度重視，近年來，關(guān)于網(wǎng)絡(luò)安全的法律法規(guī)、標準規(guī)范，包括各種團體標準、地方政策不斷出臺。

業(yè)界人士認為，從制度、標準、防范技術(shù)等方面來看，在制定了相應(yīng)的框架后，仍需進一步細化深化。與產(chǎn)業(yè)的蓬勃發(fā)展相比，安全制度仍顯得滯后，給人工智能風險防范和安全監(jiān)管帶來了嚴峻挑戰(zhàn)。

葉紅建議，要健全人工智能安全制度的體系建設(shè)。在推動產(chǎn)業(yè)發(fā)展時，應(yīng)深刻認識到其發(fā)展可能面臨的風險，健全和完善人工智能算法安全、模型安全、數(shù)據(jù)安全以及安全評估等政策和制度；要在強化人工智能安全行業(yè)治理方面加大力度，需要多元主體共同參與治理。積極鼓勵相關(guān)科研院所持續(xù)開展人工智能相關(guān)重點問題研究，鼓勵相關(guān)行業(yè)組織制定相關(guān)人工智能標準；鼓勵第三方開展相關(guān)安全評估和檢測認證。

李京春指出，人工智能安全問題需要全球共同治理，守住道德底線。要重視軟件和軟件供應(yīng)鏈的安全管控，加大數(shù)據(jù)安全保護力度，要開展識別、封控等對抗AI技術(shù)研究，打擊人工智能犯罪。要加強網(wǎng)絡(luò)安全審查、數(shù)據(jù)安全審查等國家安全審查。

針對人工智能隱藏風險的新特征，方正證券5月的研報指出，在本輪人工智能產(chǎn)業(yè)浪潮下，網(wǎng)絡(luò)安全產(chǎn)業(yè)在攻擊側(cè)、防守側(cè)及監(jiān)管側(cè)的邏輯將發(fā)生重大變化。

記者在調(diào)研中發(fā)現(xiàn)，網(wǎng)絡(luò)安全企業(yè)和技術(shù)應(yīng)用企業(yè)已經(jīng)在積極把握時機，主動應(yīng)對人工智能的新模式、新應(yīng)用帶來的安全需求。

作為深耕網(wǎng)絡(luò)安全的企業(yè)，安恒信息對人工智能安全防護有著積極看法?！啊瓵I+安全’，這個大幕才剛剛拉開，未來還有更大的可能性。”范淵認為。據(jù)介紹，安恒信息積極利用“AI+安全”的智能化應(yīng)用給智能防護和響應(yīng)產(chǎn)業(yè)帶來的機遇。過去幾年，安恒信息已經(jīng)在云端數(shù)據(jù)大腦、云端AI模型生成及應(yīng)用領(lǐng)域進行了積極布局，對類似于大語言模型帶來的安全挑戰(zhàn)已積累了一定實戰(zhàn)經(jīng)驗。

中國電信也在積極構(gòu)建完備的人工智能應(yīng)用安全處理體系。在讓人工智能更安全方面，中國電信加大相關(guān)技術(shù)研發(fā)，攻關(guān)人工智能縱深防御技術(shù)、密碼技術(shù)和數(shù)據(jù)產(chǎn)業(yè)鏈化技術(shù)。目前，其自主研發(fā)的威脅檢測系統(tǒng)、隱私計算的數(shù)據(jù)共享平臺，以及數(shù)據(jù)安全流通與監(jiān)管系統(tǒng)、數(shù)據(jù)安全的智能化關(guān)鍵技術(shù)等，已經(jīng)在內(nèi)部和客戶場景得到了廣泛應(yīng)用。

業(yè)界專家指出，隨著人工智能科技和產(chǎn)業(yè)的快速發(fā)展，有必要根據(jù)最新形勢變化，制定實施新的人工智能發(fā)展國家戰(zhàn)略，包括加快研發(fā)人工智能大模型、集中力量攻克人工智能關(guān)鍵核心技術(shù)、超前規(guī)劃布局人工智能產(chǎn)業(yè)、培養(yǎng)和引進世界一流的人工智能創(chuàng)新人才、及時研究制定有關(guān)規(guī)則和標準等。針對一些核心技術(shù)方面的難題，特別是在基礎(chǔ)理論、底層框架和算法核心領(lǐng)域，要強化和深入人工智能核心技術(shù)攻關(guān)，聚集產(chǎn)學(xué)研用各方力量，開展人工智能技術(shù)的聯(lián)合攻關(guān)，深化人工智能的技術(shù)和產(chǎn)業(yè)融合創(chuàng)新。（記者周武英）