Transformer論文の著者がロブスターを再構築し、OpenClawの裸奔脆弱性に別れを告げる

robot
概要作成中

自 | 量子位

インターネット上で何匹のロブスターが裸で走り回っているのか?

AIエージェントがあなたのパスワードやAPIキーを持ち出し、全ネットに露出している。

Transformerの著者Illia Polosukhinは我慢できなくなり、安全版ロブスター「IronClaw」をゼロから再構築した。

IronClawは現在GitHubでオープンソース化されており、macOS、Linux、Windows向けのインストーラーを提供し、ローカル展開もクラウドホスティングもサポートしている。プロジェクトは引き続き高速なイテレーション段階にあり、バージョン0.15.0のバイナリもダウンロード可能だ。

Polosukhin(以下、ボロゴと呼ぶ)はRedditフォーラムでも全てに回答し、注目度も高い。

01 OpenClawは話題になったが、「火事」も起きた

ボロゴ本人もOpenClawの早期ユーザーであり、これは彼が20年待ち望んだ技術だと語る。

それは私の計算とのインタラクションの方法を変えた。

しかし、OpenClawのセキュリティ状況は悲惨そのもので、一クリックのリモートコード実行、プロンプトインジェクション攻撃、悪意あるスキルによるパスワード窃盗などの脆弱性が次々と明らかになった。

公開されたインスタンスは25,000以上にのぼり、安全管理が不十分なままインターネットに晒されているものも多く、セキュリティ専門家からは「セキュリティダンプスターファイア(security dumpster fire)」と呼ばれている。

根本的な問題はアーキテクチャそのものにある。

ユーザーが自分のメールアドレスのBearer TokenをOpenClawに渡すと、その情報は直接LLM提供者のサーバーに送られる。

Redditでボロゴはこれが何を意味するかを指摘した。

あなたのすべての情報、さらには明示的に許可していないデータさえも、その会社の従業員がアクセスできる可能性がある。これはあなたの雇用主のデータにも同じことが言える。悪意があるわけではないにせよ、現実にはユーザーのプライバシーはほとんど守られていない。

彼は、便利さのために自分や家族の安全とプライバシーを犠牲にする価値はないと述べている。

02 Rustでゼロから再構築

IronClawはRust言語を用いてOpenClawを完全に書き直したものだ。

Rustのメモリ安全性は従来のバッファオーバーフローなどの脆弱性を根本から排除し、秘密鍵やユーザ認証情報を扱うシステムにとって非常に重要だ。

安全なアーキテクチャの上に、IronClawは4層の深層防御を構築している。

第一層はRust自体が提供するメモリ安全保証。

第二層はWASMサンドボックス隔離。すべてのサードパーティツールやAI生成コードは独立したWebAssemblyコンテナ内で動作し、たとえ悪意のあるツールであっても、その破壊範囲はサンドボックス内に厳格に限定される。

第三層は暗号化された認証情報のセキュリティボックス。すべてのAPIキーやパスワードはAES-256-GCMで暗号化して保存され、各認証情報には特定のドメインだけで使用できるというポリシールールがバインドされている。

第四層は信頼できる実行環境(TEE)。ハードウェアレベルの隔離によりデータを保護し、クラウドサービス提供者さえもユーザの敏感情報にアクセスできない。

この設計の最も重要なポイントは、大規模モデル自体が原始的な認証情報に一切触れないことだ。

エージェントが外部サービスと通信する必要がある場合にのみ、認証情報はネットワーク境界で注入される。

ボロゴは例を挙げている。たとえ大規模モデルがプロンプトインジェクション攻撃を受け、ユーザのGoogle OAuthトークンを攻撃者に送信しようとしても、認証情報の保存層はそのリクエストを直接拒否し、ログを記録し、ユーザに警告を出す。

しかし、開発者コミュニティは依然として不安を抱いている。OpenClawには2000以上の公開インスタンスが攻撃され、多数の悪意あるスキルも存在している。IronClawが流行した場合、同じ轍を踏むのではないかと。

ボロゴの回答は、IronClawのアーキテクチャ設計はOpenClawの根本的な脆弱性を根絶しているというものだ。認証情報は常に暗号化された状態で保存され、LLMに触れることは一切ない。サードパーティのスキルはホスト上でスクリプトを実行できず、コンテナ内だけで動作する。

CLI経由でアクセスしても、ユーザのシステムキーチェーンを使って復号化する必要があり、取得した暗号鍵自体には意味がない。

また、コアバージョンが安定してきた段階で、チームはレッドチームテストや専門的なセキュリティ監査を計画している。

プロンプトインジェクションという業界全体で認められた難題について、ボロゴはより詳細なアイデアを示している。

現在のIronClawはヒューリスティックルールによるパターン検出を行っており、将来的には持続的に更新される小型の言語分類器を導入し、インジェクションパターンを識別することを目標としている。

しかし、彼は認めている。プロンプトインジェクションは認証情報の窃盗だけでなく、ユーザのコードベースを書き換えたり、通信ツールを通じて悪意のあるメッセージを送信したりする可能性もある。

こうした攻撃に対抗するには、入力内容を見ずにエージェントの意図を審査できるより賢い戦略システムが必要だ。「まだ多くの作業が必要であり、コミュニティの貢献を歓迎します」と。

ローカル展開とクラウド展開の選択について質問があった。

ボロゴは純粋なローカルソリューションには明らかな制約があると考えている。デバイスの電源を切るとエージェントは動かなくなるし、モバイル端末の消費電力も耐えられない。長時間の複雑なタスクも実行できない。

彼は、秘密保持のためのクラウド(confidential cloud)が現時点で最良の妥協案だと考えている。ほぼローカルと同じプライバシー保護を提供しつつ、「常時オンライン」の問題も解決できる。

また、ある細かい点も指摘している。ユーザは、例えば海外旅行中に自動的に追加のセキュリティバリアを設定し、不正アクセスを防ぐといったポリシーを設定できる。

03 より大きな野望

ボロゴは単なるオープンソース開発者ではない。

2017年、彼は共著者の一人として「Attention Is All You Need」を発表し、その中で提案されたTransformerアーキテクチャは、今日のすべての大規模言語モデルの基礎となっている。

名前の記載では最後に位置しているが、論文には「Equal contribution. Listing order is random.」と脚注があり、順位は完全にランダムだ。

同年、彼はGoogleを離れ、NEAR Protocolを設立し、AIとブロックチェーン技術の融合に取り組んだ。

IronClawの背後には、NEAR Protocolのより大きな戦略的構想がある。それは「ユーザー所有のAI(User-Owned AI)」だ。

このビジョンでは、ユーザは自分のデータと資産を完全にコントロールし、信頼できる環境の中でAIエージェントがユーザに代わってタスクを実行する。

NEARはこれに向けてAIクラウドプラットフォームや分散型GPUマーケットなどのインフラを構築しており、IronClawはそのランタイム層にあたる。

さらに、彼はエージェント同士を雇用し合うマーケットも開発している。

NEARのmarket.near.aiでは、ユーザは専門化したエージェントを登録し、信頼と実績を積むことでより高価値なタスクを獲得できる。

普通の人が今後5年でAI時代にどう適応すべきかと尋ねられたとき、ボロゴの答えは、「できるだけ早くAIエージェントを働かせる働き方を採用し、作業の全工程を自動化させることだ」と。

この判断は最近になって思いついたものではない。

2017年にNEAR AIを立ち上げた頃から、彼は「未来はあなたがコンピュータと対話するだけで済む。もうコードを書かなくていい」と伝えてきた。

当時、多くの人は彼らが狂っている、妄言だと思った。

九年が経ち、これが現実になりつつある。

「AIエージェントは、人類とオンライン上のすべてのインタラクションの究極のインターフェースだ」とPolosukhinは書いている。「しかし、それを安全にしよう。」

原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
0/400
コメントなし
  • ピン