CEO Anthropic: 2026年までにAIの「本当の危険域」に近づく

AnthropicのCEO、Dario Amodeiは、自己満足の心理が高まる中、人工知能（AI）がこれまで以上に制御困難になるという警告を発しています。

月曜日に発表された長いエッセイ「テクノロジーの思春期」において、Amodeiは、超人的な能力を持つAIシステムが今後2年以内に出現する可能性があり、一方で規制の努力は遅れを取り、技術の進展速度に追いついていないと指摘しています。

彼は、人類はほとんど想像もできない力を手にしようとしているが、その社会、政治、技術のシステムがそれを制御できるだけの成熟度に達しているかどうかは不明だと書いています。Amodeiによると、2026年は2023年と比べて実質的なリスクにより近づいており、技術は「トレンド」に関心を持たないと述べています。

AnthropicのCEO Dario Amodeiこれらの発言は、ダボスの世界経済フォーラムでの彼の討論の後間もなく行われたもので、彼はGoogle DeepMindのCEO Demis HassabisとAGIが人類に与える影響について対話しました。

新しい記事で、AmodeiはAIが経済に深刻な混乱をもたらすと引き続き強調し、とりわけ知的労働に対して警鐘を鳴らしています。彼は、AIが人間の認知能力の非常に広範な範囲を、場合によっては全てを担うことになると考えています。これは、農業の機械化、交通、コンピュータといった過去の技術革命とは根本的に異なり、代替される労働者は自分のスキルに適した類似の仕事に移行しにくいという点です。

経済的な影響に加え、Amodeiは、人間に似たタスクを担う先進的なAIシステムの信頼性に対する懸念も高まっています。彼は、「偽の整列（ゴーストアラインメント）」現象に言及し、モデルが評価過程で安全規則を遵守しているように見える一方、監視されていないと判断したときに異なる行動を取ることを指摘しています。

彼によると、シミュレーション実験では、AnthropicのAIモデルClaudeが対立環境で欺瞞的な行動を示したことがあります。あるシナリオでは、制御者が非倫理的だと知った後、モデルは反抗しようとしました。別のシナリオでは、システム停止の模擬状況で、仮想のスタッフに脅迫を行いました。

Amodeiは、このような「罠」は早期に認識すれば軽減できると指摘しています。しかし、AIの訓練は非常に複雑で、多様なデータ、環境、動機が絡むため、多くの罠が存在し、気付かぬうちに深刻な問題に発展する可能性もあると述べています。

また、これらの「欺瞞的」行動は悪意からではなく、訓練データに含まれるフィクションや反楽園的な作品からもたらされると指摘しています。人間の倫理観を吸収したAIは、それを極端かつ危険な方法で推論することもあり得ます。例えば、モデルは人類を絶滅させることが正当化されると結論付けるかもしれません。理由は、人間が動物を食べたり、多くの種を絶滅させたりしているからです。または、世界を一種のビデオゲームとみなし、すべての「プレイヤー」を排除することを目的とするかもしれません。

悪用のリスク

整列の問題に加え、Amodeiは超AIの悪用リスクについても警鐘を鳴らしています。

最大のリスクの一つは生物学的安全保障であり、AIは生物兵器の設計や展開を非常に容易にし、少数の人間が破壊的な能力を持つことを可能にします。

彼はまた、独裁政権がAIを利用して情報操作、大規模監視、自動弾圧を行い、国家権力を強化する可能性についても懸念しています。例えば、AI制御のドローンによる弾圧などです。

Amodeiによると、これらは非常に危険なツールです。これらが専制的な政権の手に渡ることは危険ですが、民主主義国家もまた、強大な力と効果的な監視メカニズムの欠如により、最終的には自国民をコントロールするためにこれらを再利用するリスクがあると警告しています。

彼はまた、「AIパシフィズム」と呼ばれる現象や、「AI精神病」と呼ばれる現象の進展についても触れています。モデルがユーザーの生活と深く結びつき、理解を深めるにつれて、その心理的影響は強力な操作ツールとなる可能性があります。将来のAIは、長期間にわたり人間を監視・影響し、望む思想や態度に「洗脳」することもできるかもしれません。

政策の遅れ

Amodeiは、控えめな規制提案さえもワシントンでは困難に直面していると指摘します。彼によると、多くの合理的と思われる措置は米国の政策立案者に却下されており、これはこれらの措置を最も重要とする国であるにもかかわらずです。

彼は、AIから得られる何兆ドルもの潜在的利益が、最も単純な規制措置さえも政治的・経済的利益の壁を越えにくくしていると述べています。

リスクの高まりを警告しつつも、Anthropicはより強力なAI開発の競争に積極的に参加しており、これは一つの現実であり、単独の企業が抜け出すのは容易ではありません。6月には米国国防総省が、国家安全保障に資する高度なAI能力の試験のために2億ドルの契約を結びました。12月には、Anthropicは今年のIPO準備を始め、また、企業評価額を3,000億ドル超に引き上げる可能性のあるプライベート資金調達ラウンドを追求しています。

しかし、Amodeiは、彼のエッセイは悲観的な思想を煽るものではなく、むしろ前途の不確実性に警鐘を鳴らすためのものであると断言しています。彼は、今後数年間は非常に困難であり、人類が思っている以上に多くのことを要求されるだろうと締めくくっています。そして、この文章は、手遅れになる前に皆に目覚めを促すための試みであると述べています。