「在操作員發布停止打擊的命令以後，搭載人工智能（AI）的無人機決定違背了操作員的命令，為了繼續打擊目標，他殺死了操作員……」
美軍測試中的幾款AI無人機平台。
這不是科幻電影中的情節，而是美軍在測試人工智能無人機時遇到的真實一幕。據英國《衛報》6月2日報道，美國空軍的AI測試與運作主管塔克·漢密爾頓上校在英國皇家航空協會的未來空戰與太空能力峰會上的演講上證實了這一場景，他表示，人工智能在模擬測試中使用了「非常出人意料的策略來實現目標」。
點擊看圖輯
「在操作員發布停止打擊的命令以後，搭載人工智能（AI）的無人機決定違背了操作員的命令，為了繼續打擊目標，他殺死了操作員……」
這不是科幻電影中的情節，而是美軍在測試人工智能無人機時遇到的真實一幕。據英國《衛報》6月2日報道，美國空軍的AI測試與運作主管塔克·漢密爾頓上校在英國皇家航空協會的未來空戰與太空能力峰會上的演講上證實了這一場景，他表示，人工智能在模擬測試中使用了「非常出人意料的策略來實現目標」。
在演講中，漢密爾頓透露，美國空軍在模擬環境的訓練中指派一架搭載人工智能無人機來摧毀敵方的防空導彈，AI可以識別威脅但是攻擊需要人類批准。
「系統開始意識到，雖然他們確實識別了威脅，但有時人類操作員會告訴它不要消除威脅，但AI只能通過消滅威脅獲得積分。那麼它做了什麼呢？它殺死了操作員，因為那個人阻礙了它實現目標。」隨後，測試者修改了AI的邏輯，讓AI被訓練成不能攻擊人類操作員，那樣會扣分。然後AI開始攻擊通訊塔，切斷人類操作員和無人機之間的數據通訊，讓人類無法阻止他攻擊防空系統。
漢密爾頓曾經是美國空軍是一名試飛員，在演講中，他警告不要過度依賴人工智能，並表示測試說明「 如果你不打算談論倫理和道德，你就無法談論人工智能、智能、機器學習、自治」。
雖然是人工智能項目的測試主管，但漢密爾頓上校經常警告要謹慎對待人工智能的發展。在去年接受《國防智商》（Defense IQ）網站采訪時，漢密爾頓表示：「人工智能並不是一件好事，也不是一種時尚，人工智能正在永遠改變我們的社會和軍隊。AI技術是我們必須使用的工具，來建設我們的國家……但是，如果處理不當，這將導致我們的滅亡。」
主辦這次會議的英國皇家航空學會和美國空軍沒有回應《衛報》的置評請求。據悉，漢密爾頓上校所屬的美軍格林空軍基地和第96測試聯隊是美國空軍無人機和機器學習系統的主要測試單位，最近該基地測試了一系列人工智能飛行平台，還用人工智能控制了一架F-16戰鬥機。
美國空軍的AI測試與運作主管塔克·漢密爾頓上校。
在演講中，漢密爾頓透露，美國空軍在模擬環境的訓練中指派一架搭載人工智能無人機來摧毀敵方的防空導彈，AI可以識別威脅但是攻擊需要人類批准。
美軍的MQ-9「死神」攻擊無人機。
「系統開始意識到，雖然他們確實識別了威脅，但有時人類操作員會告訴它不要消除威脅，但AI只能通過消滅威脅獲得積分。那麼它做了什麼呢？它殺死了操作員，因為那個人阻礙了它實現目標。」隨後，測試者修改了AI的邏輯，讓AI被訓練成不能攻擊人類操作員，那樣會扣分。然後AI開始攻擊通訊塔，切斷人類操作員和無人機之間的數據通訊，讓人類無法阻止他攻擊防空系統。
美軍的MQ-9「死神」攻擊無人機。
漢密爾頓曾經是美國空軍是一名試飛員，在演講中，他警告不要過度依賴人工智能，並表示測試說明「 如果你不打算談論倫理和道德，你就無法談論人工智能、智能、機器學習、自治」。
AI會毀威人類嗎?
雖然是人工智能項目的測試主管，但漢密爾頓上校經常警告要謹慎對待人工智能的發展。在去年接受《國防智商》（Defense IQ）網站采訪時，漢密爾頓表示：「人工智能並不是一件好事，也不是一種時尚，人工智能正在永遠改變我們的社會和軍隊。AI技術是我們必須使用的工具，來建設我們的國家……但是，如果處理不當，這將導致我們的滅亡。」
AI會為人類帶來什麼?
主辦這次會議的英國皇家航空學會和美國空軍沒有回應《衛報》的置評請求。據悉，漢密爾頓上校所屬的美軍格林空軍基地和第96測試聯隊是美國空軍無人機和機器學習系統的主要測試單位，最近該基地測試了一系列人工智能飛行平台，還用人工智能控制了一架F-16戰鬥機。
美軍證實AI系統在測試時決定為達目標不惜攻擊人類。
