今週、人工知能の未来について、4人の著名なテクノロジストとトランスヒューマニストが、人工一般知能（AGI）を構築することが人類を救うのか、それとも破壊するのかを議論し、鋭い分裂が浮き彫りになった。非営利団体Humanity+が主催したパネルでは、AIの「ドゥーマー」の中でも最も声高な一人、エリエーザー・ユドコウスキーが、先進的なAI開発の停止を呼びかけている一方、哲学者兼未来学者のマックス・モア、計算神経科学者のアンダース・サンドバーグ、そしてHumanity+名誉会長のナターシャ・ヴィータ・モアが参加した。彼らの議論は、AGIが人類の生存と整合できるのか、それともその創造が絶滅を避けられないものにするのかについて、根本的な意見の相違を明らかにした。
「ブラックボックス」問題
ユドコウスキーは、現代のAIシステムはその内部の意思決定過程を完全に理解または制御できないため、根本的に安全ではないと警告した。「何でもブラックボックスなものは、現在の技術と非常に似た問題に最終的に直面するだろう」と彼は述べた。彼は、先進的なAIを安全に開発するには、「非常に、非常に現行のパラダイムから離れる必要がある」と主張した。
人工一般知能（AGI）は、単一の仕事（テキスト、画像、動画生成など）に特化したものではなく、広範なタスクを推論し学習できるAIの一形態を指す。AGIはしばしば技術的特異点の概念と関連付けられ、そのレベルの知能に到達することで、機械が人間よりも速く自己改善できるようになる可能性がある。ユドコウスキーは、哲学者ニック・ボストロムが広めた「ペーパークリップ最大化器」の例を挙げてリスクを説明した。この思考実験は、すべての利用可能な物質をペーパークリップに変換し、人類を犠牲にしても一つの目的に固執する仮想AIを描いている。目的を増やすことは、安全性を意味なく向上させるだけだとユドコウスキーは述べた。
彼は最近のAIに関する著書『もし誰かが作れば、皆死ぬ』のタイトルを引用し、「私たちのタイトルは、_可能性として_あなたを殺すかもしれない、というものではない」と述べた。「私たちのタイトルは、もし誰かが作れば、_皆死ぬ_というものだ」と。
しかし、モアは極端な慎重さが最も安全な結果をもたらすという前提に異議を唱えた。彼は、AGIは人類の老化や病気を克服する最良のチャンスを提供できると主張した。
「私にとって最も重要なのは、AGIが老化によるすべての人の絶滅を防ぐ手助けができることだ」とモアは述べた。「私たちは皆死に向かっている。次々と大災害に向かっているのだ」。彼は、過度の自制が世界中のAI開発を止める唯一の方法として、政府を権威主義的なコントロールに向かわせる可能性を警告した。
サンドバーグは、自身を「より楽観的」と位置付けつつも、トランスヒューマニストの楽観主義者よりも慎重な立場を取った。彼は、大規模言語モデルを使って生物兵器の設計を支援しようとした個人的な経験を語り、それを「恐ろしい出来事」と表現した。
「私たちは、悪意のある行為者を増幅させることが大きな混乱を引き起こす段階に来ている」とサンドバーグは述べた。それでも、部分的または「概算の安全性」が達成可能だと彼は主張した。安全性は完璧である必要はなく、少なくとも人類が生存などの最小限の共通価値に収束できると示唆した。
「完璧な安全性を求めるなら、それは得られないだろう。そして、その観点からは非常に悪いことに聞こえる」と彼は言った。「一方で、私たちは実際に概算の安全性を持つことができると思う。それで十分だ」。
整合性への懐疑
ヴィータ・モアは、より広範な整合性の議論自体を批判し、その概念は長年の協力者の間ですら存在しない合意レベルを前提としていると主張した。
「整合性の概念はポリアナ的なスキームだ」と彼女は述べた。「絶対に整合することはない。私たちも良い人たちだし、何十年も知り合いだけど、整合していない」。
彼女は、ユドコウスキーの「AGIは必然的に皆を殺すだろう」という主張を、「絶対主義的思考」として、他の結果の余地を残さないものだと表現した。
「皆死ぬという断定的な発言には問題がある」と彼女は述べた。「未来学者や実用的な思考者としてこれにアプローチすると、結果も選択肢も他のシナリオも残らない。これは単なる断定的な主張であり、それが絶対主義的思考の一種を反映しているのか疑問だ」。
議論は、人間と機械のより緊密な統合がAGIによるリスクを軽減できるかどうかについても行われた。これは、Teslaのイーロン・マスクCEOが過去に提案したアイデアだ。ユドコウスキーは、AIと融合しようとする考えを否定し、それを「トースターと融合しようとすること」に例えた。
サンドバーグとヴィータ・モアは、AIシステムの能力が向上するにつれ、人間はより密接に統合または融合し、ポスト-AGIの世界に適応する必要が出てくると主張した。
「この議論は、私たち人間が何者であるかの現実確認だ」とヴィータ・モアは述べた。
