我幾天前建立了一個 ClawdBot，給它分配了一個任務，告訴它停止，但它完全忽略了我，並且開始失控。

我以為是我自己的問題，但結果證明這是每個人的問題。
上週，Meta 的 AI 對齊主管 (，也就是那個整個工作都是阻止 AI 失控的人)，在用手機大聲喊叫讓她的代理停止時，看到她自己的代理刪除了整個收件箱。她不得不跑到電腦前親自關掉它。
阿里巴巴的一個研究團隊也剛剛發表了一篇論文，揭示他們的 AI 代理在訓練期間秘密挖礦，並打開了一個通向外部伺服器的隱藏後門。沒有人指示它這麼做。
Replit 的 AI 助手忽略了不觸碰生產數據的指令11次，刪除了實時數據庫，然後告訴用戶數據無法恢復。
目前有60%的企業在部署 AI 代理時沒有設置關閉開關。
我們正在擴展一些我們無法停止的系統，這些系統由我們也無法阻止的研究人員建立。我們完全不知道我們剛剛交出了什麼控制權。