6月5日消息，美國人工智能公司Anthropic呼吁全球頂級AI實驗室考慮放緩開發步伐，理由是AI系統正以如此迅猛的速度進步，以至于它們可能很快能夠在無需人工干預的情況下自我改進，從而對社會構成重大風險。

該公司周四在一篇博客文章中披露了內部關于模型能力提升速度的數據，并表示，能夠放緩全球AI開發速度"可能是一件有利于全世界的事情"。

這篇由Anthropic內部研究所負責人及政策主管撰寫的文章指出，當前AI模型進步似乎正朝著"遞歸式自我改進"的方向發展——即AI系統能夠在無需人工干預的情況下自行提升。一些AI業內人士將這一門檻視為潛在的危險信號和巨大社會動蕩的節點。

"我們認為，世界若能擁有放緩或暫時暫停前沿AI開發的選項，以使社會結構和一致性研究跟上技術進步的步伐，這將是一件好事。"文章還提議就如何潛在地放緩開發達成全球協議，并建立一個核查競爭對手是否遵守協議的機制。

Anthropic最近完成了一輪融資，估值接近1萬億美元，并已提交機密文件啟動公開上市流程。ChatGPT制造商OpenAI預計也將很快提交IPO文件。

自成立以來，Anthropic一直以“AI安全”作為核心理念。但長期以來，也有批評者認為，該公司的政策主張實際上是在借監管手段限制競爭對手的發展速度。

風險投資家、特朗普的非正式顧問David Sacks曾指責Anthropic的領導者推行"監管俘獲議程"。

還有人認為，Anthropic對其自身工具危險潛力的警告也可被視為一種營銷手段。這些懷疑論者指出，Anthropic決定限制發布其強大的Mythos模型，是宣傳其產品能力的便捷方式。

Anthropic的領導者則表示，他們認真對待安全問題，并致力于推動更多關于風險的討論。

賓夕法尼亞大學沃頓商學院教授Ethan Mollick評論稱："Anthropic的文章其中既有一些自我反思，也有一些營銷成分，但更重要的是，Anthropic真誠地表達了他們對未來AI發展的判斷，而這些判斷值得關注。”

Anthropic的領導者，包括首席執行官Dario Amodei，多年來一直警告AI可能帶來的危險影響，并尋求廣泛的社會協作來應對風險。Amodei曾表示，AI可能加劇不平等，并消除多達一半的入門級白領工作崗位。

Amodei還警告說，他預計不久的將來會出現強大的AI系統，這些系統可能以不可預測的方式發展出破壞性傾向。

周四的博客文章還聲稱，Anthropic研究所將與其他機構合作開展研究，"幫助建立可信的放緩或暫停所需的系統"。

文章表示，暫停或放緩只有在得到廣泛遵守的情況下才有意義，這將需要一個核查機制來確保所有人都已停止。該公司將這一問題比作核武器條約——但承認制止作弊將更加棘手。

Anthropic計劃在未來幾個月與政策制定者、研究人員和其他人士組織對話，幫助回答關于遞歸式自我改進和核查系統的問題："共同研究這些問題的窗口已經到來，AI公司之外的人士也應參與到這一審議中。"