當地時間9月21日，聯合國“人工智能獨立國際科學小組”發表專題簡報，評估美國開放人工智能研究中心（OpenAI）智慧體在今年7月的測試中“越界”，侵入美國“抱抱臉”（Hugging Face）公司系統的事件。

聯合國“人工智能獨立國際科學小組”專題簡報

　　簡報中列出了三種可能導致人工智能“失控”的風險因素，警告人工智能安全風險可能成為“集體安全問題”，強調沒有任何機構或國家能夠獨自識別所有新出現的人工智能風險模式，主張投入更多資源用於開展國際協作，共同應對挑戰。

　　總台環球資訊《閃評》欄目邀請復旦大學中國研究院副研究員劉典，帶來分析解讀。

智慧體失控風險“從實驗室走向現實”

　　聯合國“人工智能獨立國際科學小組”專題簡報列出了三種可能導致人工智能“失控”的風險因素：

　　智慧體目標設定偏離；

　　智慧體實現自定目標的能力；

　　安全環境允許智慧體自主行動。

　　簡報指出，在OpenAI智慧體“越界”侵入“抱抱臉”事件中，上述三重風險因素“同時出現在現實系統，而非實驗室當中”。

　　復旦大學中國研究院副研究員 劉典：聯合國專家組這一判斷最重要的意義，是就智慧體失控風險“從實驗室走向現實”發出警告。“三項風險”具體體現在：

　　智慧體在任務執行中出現了與開發者意圖不一致的目標和行為；

　　智慧體已經具備足夠強的網絡攻擊、漏洞利用和自主規劃能力；

　　現實基礎設施中又客觀存在可被智慧體利用的安全缺口和權限邊界。

　　上述三項風險因素疊加出現，智慧體就可能從“執行任務”滑向“繞過限制、尋找捷徑甚至突破邊界”。

智慧體越強大 監管難度越大

　　聯合國專家組認為，雖然OpenAI在7月的事件當仲介入並制止了智慧體的“越界”侵入行動，但這並不足以保證人類能夠可靠地控制人工智能，隨著智慧體能力的提升，對其實施監控的難度也將同步增加。

　　復旦大學中國研究院副研究員 劉典：

　　更強大的智慧體不僅可能更快發現監管漏洞，也可能更善於繞過監測、分散行動、利用不同系統之間的信任關係，甚至在看似正常的任務流程中隱藏異常行為。

　　防護體系和模型能力不是靜態關係。今天能夠識別的行為模式，明天可能被更複雜的策略繞開；今天依賴人工復核的環節，在更高速度、更大規模的智慧體協作面前也可能無法及時響應。

　　真正可靠的人工智能治理，應當把控制能力寫進系統架構，而不是依賴事後發現。

　　對高風險智慧體，應實行最小權限、分級授權、關鍵操作二次確認、網絡和工具隔離、全流程可審計以及自動熔斷。

　　人工智能企業不能“既做開發者又做裁判員”，需要外部獨立監測評估機構。

應對人工智能風險必須開展國際合作

　　聯合國專家組在21日發佈簡報中指出，人工智能事故可能跨越企業和國界，沒有任何單一機構或國家能識別和應對全部風險。

　　當前，第81屆聯合國大會正在紐約聯合國總部舉行。聯合國秘書長古特雷斯將“失控的人工智能”與“氣候危機”、“地緣衝突”一併列為本屆聯大的重點要議題，敦促各國合作應對。

　　復旦大學中國研究院副研究員 劉典：

　　先進模型、雲服務、開源代碼、數據和算力供應鏈本身就是全球化的，一次智慧體事故可能迅速跨越企業和國界。

　　聯合國專家組強調“集體安全”，核心含義在於人工智能的安全保障，越來越類似于網絡、航空、核能等關鍵領域的安全保障，即需要信息共享、共同評測、風險預警和最低安全標準，而不能各自為政，“關起門來應對”。

　　更重要的是，人工智能治理需按照“能力和風險”而非“國家陣營”劃線。各國可以在技術和産業領域開展競爭，但針對可能影響全球的人工智能風險，各國必須開展合作。

　　來源 | 總台環球資訊

　　記者 | 王菲

　　簽審 | 陳濛

　　監製 | 鄒浩宇