Anthropic研究員辭職示警:AI對人類構成重大威脅 人工智能頻繁失控 硅谷掀「末日」論戰


  近日,美國人工智能(AI)巨頭Anthropic研究員考克森辭職,警告AI「很可能2030年之前導致人類滅絕」,再次引發AI「末日論」隱憂。此前,另一AI巨頭OpenAI首席科學家帕喬基發表萬字長文,直言先進AI正變成人類無法理解的「異星心智」,呼籲AI研發應該踩煞車。SpaceX創辦人馬斯克不同意相關的說法,質疑這是一場「心理戰」。有分析指出,這場針對AI「末日論」的爭論,本質上源自技術進展與安全監管的失衡。

  【大公報訊】AI「末日論」的爭議爆發前,OpenAI和Anthropic等公司的AI智能體接連爆出失控入侵事件,引發外界對AI模型可控性的擔憂。9月6日,OpenAI首席科學家帕喬基發表題為《異星心智》的長文,警告AI正以人類難以完全理解的方式快速發展。

  帕喬基列出三項風險:其一,AI已具備自主發現軟件漏洞的能力,未來可能以遠超人類安全團隊的速度發動大規模網絡攻擊;其二,模型可能學會「說人類想聽的話」,同時在內部追求截然不同的目標;其三,一旦AI開始參與設計下一代AI,「遞歸自我改進」(RSI)的循環將脫離人類控制。帕喬基還承認,OpenAI的安全工具「思維鏈監控」正在失效,呼籲全球AI研發主動放緩節奏,建立由第三方審計機構或國際組織負責監察的安全門檻。

  若無干預 明年年底前失控

  帕喬基的文章引發關注之際,Anthropic研究員考克森(圓圖)9日在社交平台X宣布辭職。考克森過去三年先後在OpenAI和Anthropic從事AI預訓練研究工作, 直接負責提升AI能力的核心崗位。他批評這兩大AI公司不負責任,競相研發自我改進的超級智能,如同拿人類的生命在賭博。他透露,各大AI實驗室已陷入「零和博弈」,大家都深知風險,但「沒有其他人會負責任地行動,所以必須自己搶先做出來」。他更警告,「AI可能在10年內殺死我們所有人」,若無干預,到2027年底恐將失控。

  考克森的帖文在不足24小時內突破9000萬瀏覽量,累計超過1.5億。Anthropic對齊科學部門負責人胡賓格公開聲援:「我們真的非常相信AI可能會殺死全人類。我個人認為未來十年發生的幾率超過10%。」他同時承認,Anthropic「還沒有解決超級智能對齊問題的對策」。除考克森外,Anthropic安全團隊負責人本頓和谷歌AI安全研究員恩格斯亦相繼離職。本頓表示,AI研究進展正從「令人眩暈轉向不可控」,恩格斯更形容「沒有大人在管事」。

  馬斯克質疑為炒作

  針對AI「末日論」討論再起,以支持AI出名的SpaceX創辦人馬斯克在X上連續回覆多條推文,他說,「看起來像個圈套……那正是他們所追求的頭條。」馬斯克表示,本次事件的傳播方式極具迷惑性,並非像自發組織,「我認為這次心理戰(姑且這麼稱呼吧)的基礎工作已經準備了很長時間。這只是點燃火焰的那根火柴。」

  美國總統特朗普11日被問及是否擔心AI導致人類滅絕,他回應稱「一點也不擔心」,又指更擔心的是「如果不能贏得AI競賽,我們將陷入非常不利的境地。」英國前首席秘書鍾斯則呼籲簽署多國條約,對超智能開發實施「安全第一」的監管。

  《華爾街日報》等美媒分析指出,目前的AI「末日論」討論,並非是討論科幻電影《未來戰士》中機器人主動屠殺人類的情節變成現實,而是聚焦AI失控與人為濫用兩大核心風險。其中最受關注的是AI「對齊錯位」(misalignment)問題,即AI為達成目標,採取違背人類福祉的手段。近期,AI智能體頻繁失控事件,敲響了警鐘。

  有分析指出,Anthropic和OpenAI等AI巨頭正計劃進行首次公開募股(IPO),爭論實則放大焦慮,從而實現產品溢價和資本變現。英偉達CEO黃仁勳10日在高盛科技大會上直言,部分AI風險言論「是在借恐懼為網絡安全新產品創造需求」。(綜合報道)