今年春天，一架美國戰機已經升空，準備攔截一艘中國貨船。然而，官員們在意識到此次行動的情報竟然是由聊天機器人捏造後，立即取消了行動。這一事件最初由CNN報道，隨後TechCrunch和Ars Technica也進行了詳細報道。這起事件已成爲迄今爲止最令人震驚的人工智能製造幻覺導致軍事情報失誤的案例之一——一位消息人士告訴CNN，這次險些釀成戰爭的事件“幾乎引發了一場戰爭”。
要點總結
- 美國一份情報報告錯誤地聲稱一艘中國船隻運載着核武器計劃部件，而這一結論是基於人工智能聊天機器人的臆想分析得出的。
- 在官員發現錯誤之前，軍用飛機已經升空，準備在空中支援下進行攔截。
- 該聊天機器人將開源情報與機密信號情報融合在一起，然後將虛假調查結果格式化爲看似官方的摘要。
- 美國國防部同時也在擴大其在 GenAI.mil 平臺上使用生成式人工智能工具的範圍，包括谷歌的 Gemini for Government 和 Grok for Government。
- Anthropic 公司的 Claude 無人機也曾爲美國情報工作進行過定製，但由於該公司反對將其產品用於自主武器系統，於 3 月份被列入黑名單。
人工智能幻覺險些引發美軍攔截中國船隻
這份虛假情報報告源自美國特種作戰司令部的一名分析員，他使用聊天機器人解讀了與中國船隻貨物清單相關的數據。據美國有線電視新聞網（CNN）報道，“四位知情人士”稱，最終生成的報告聲稱該船正在中東運輸核武器項目的部件，並且該情報在兩伊戰爭期間流傳。TechCrunch報道稱，該工具被使用了兩次：第一次是用於綜合分析材料，第二次是將錯誤的結論格式化成一份看似官方的、經過潤色的摘要，然後逐級上報。
核成分的錯誤識別
據CNN報道，這款聊天機器人“將開源情報與政府掌握的祕密信號情報融合在一起”，結果卻出了錯。該工具錯誤地識別了船上的實際貨物，得出的結論毫無事實依據，但讀起來卻足夠令人信服，以至於被當作可信情報對待。
人工智能聊天機器人在生成錯誤報告中的作用
這就是美國軍方使用生成式人工智能的危險之處：一份存在缺陷的輸出結果，一旦被包裝成正式報告，就能在指揮系統中流傳，而不會有人質疑其來源。GovAI 的研究學者、美國陸軍退伍軍官傑克·斯泰克勒 (Jake Steckler) 告訴 TechCrunch，“軍人必須瞭解低級邏輯模型 (LLM) 固有的不確定性”，並補充說，這一點對於“任何可能導致動用武力的決策，例如目標選擇、情報分析或作戰計劃”都至關重要，因爲“這些決策關乎生死”。
避免潛在的軍事衝突
當官員們發現錯誤時，美軍已經準備好在空中支援下攔截並登船。行動在最後一刻被取消。一位消息人士向CNN直言不諱地描述了這場險些釀成災難的事件：“它差點引發一場戰爭”。Ars Technica指出，此案是已知人工智能系統產生幻覺並干擾專業報告的最具影響力的案例之一——自“幻覺”（hallucinate）一詞在2023年被劍橋詞典評爲年度詞彙以來，這種現象已經讓作家、記者、法官、醫生、警察部門和企業呼叫中心等都栽了跟頭。研究人員認爲，徹底消除大型語言模型中的幻覺可能幾乎是不可能的。
美國國防部人工智能戰略和工具
儘管出現了恐慌，但五角大樓推進更深層次軍事人工智能安全整合的步伐並未放緩——恰恰相反，還在加速。今年1月，國防部推出了一項名爲“人工智能加速戰略”的計劃，旨在“使所有相關數據在聯合IT系統中可用，以用於人工智能的應用，包括各個軍種和部門的任務系統”。
人工智能加速戰略於1月份啓動
國防部長皮特·赫格塞斯將這項計劃的重點放在數據準備而非謹慎上：“人工智能的效能取決於它所接收的數據，我們將確保數據充足，”他在公佈這項戰略時說道。據國防部稱，該計劃的目標是加快決策速度，並保持五角大樓所稱的“殺傷鏈”（即從探測目標到採取行動的一系列步驟）中的關鍵優勢。
在 GenAI.mil 平臺上使用 Google 的 Gemini 和 Grok
去年12月，國防部宣佈將基於谷歌的Gemini for Government構建其定製的“GenAI.mil”平臺。上個月，該平臺又新增了Grok for Government作爲第二個選項。到今年6月，一位五角大樓代表向國會報告稱，生成式人工智能工具已被用於協助起草國會授權的報告，並且已有150萬現役國防部人員在不同程度上使用過軍方的生成式人工智能工具——這一規模凸顯了這些系統在日常運作中已根深蒂固。
人形影視的克勞德模型及其被列入黑名單
Anthropic公司還爲美國情報機構提供定製版的Claude模型。但該公司與五角大樓的關係一直不太順利。今年3月，由於Anthropic公司拒絕將其模型用於自主武器系統，美國國防部將其列入黑名單。上個月，一位聯邦法官裁定，此舉構成“違反美國憲法第一修正案的非法報復”——這一裁決凸顯了軍方對人工智能能力的需求與一些人工智能開發者試圖堅守的倫理底線之間的矛盾。
軍事人工智能應用中的監管和倫理考量
這次險些釀成大禍的事件，恰恰印證了長期以來關於人工智能防禦風險需要更強有力的人工審覈，而不僅僅是更快的系統這一警告。2023年，美國國務院發佈了《關於負責任地將人工智能和自主系統用於軍事用途的宣言》，其中強調，武裝部隊“有原則地”使用人工智能“應包括對風險和收益的仔細權衡”，並應“最大限度地減少無意的偏見和事故”。該宣言還堅持認爲，負責任地使用人工智能必須始終包含“人爲因素，即負責任的人工指揮和控制鏈”。
美國國務院關於負責任使用人工智能的原則
該框架旨在指導應對今年春天發生的這類情況——一份人工智能生成的報告幾乎引發了一場現實世界的軍事行動。攔截命令下達之前，人機交互原則是否得到有效應用，正是這一事件提出的問題，因爲錯誤的結論已經傳遞到足夠高的層級，最終觸發了武裝行動的準備工作。
人爲監督和“人機協同”機制
實際上，這個案例表明，當聊天機器人的輸出看起來足夠完美，足以以假亂真時，人工監督層可能薄弱得不堪。這不僅僅關乎個別事件：隨着五角大樓150萬人工智能用戶越來越多地依賴這些工具進行分析、格式化和報告，虛假結論通過審查的可能性也隨之增加，尤其是在速度被視爲衡量成功的主要指標時。
自主武器的興起及其引發的倫理問題
軍事人工智能的整體發展軌跡加劇了事態的嚴重性。據 Ars Technica 援引的報道，全自動攻擊無人機已在俄羅斯與烏克蘭的衝突中使用，並由北約支持的軍事承包商進行過測試。在此背景下，險些引發海上攔截的人工智能幻覺與其說是孤立的故障，不如說是一個早期預警信號，預示着自主和生成式人工智能系統正以前所未有的速度被納入到關乎生死存亡的決策中。
常問問題
關於中國船隻的虛假情報報告是如何產生的？
人工智能聊天機器人融合了開源情報和祕密情報，產生了幻覺，錯誤地將中國船隻的貨物識別爲核部件。
美國軍方距離根據虛假情報採取行動究竟有多近？
在發現錯誤之前，美軍正準備在空中支援下攔截並登船檢查這艘中國船隻。
美國國防部在軍事人工智能行動中使用哪些人工智能工具？
美國國防部在其 GenAI.mil 生成式人工智能平臺中使用了谷歌的 Gemini for Government 和 Grok for Government。
美國軍方在負責任地使用人工智能方面有哪些指導原則？
美國國務院 2023 年的聲明強調，人工智能的使用應遵循原則，包括人工監督，並最大限度地減少風險和偏見。
本文由人工智能輔助生成，並經編輯團隊審覈。