Відкрите звернення Anthropic: лицемірний Сем Альтман, майстер психологічної маніпуляції

Я хочу дуже чітко висловити інформацію, яку зараз поширює OpenAI, та вказати на її лицемірство. Це їхній справжній підхід, і я сподіваюся, що всі це побачать.

Хоча у нас ще багато невідомих щодо контракту, підписаного ними з Міністерством оборони (DoD) (і навіть вони самі, ймовірно, не зовсім його розуміють, оскільки умови контракту, ймовірно, дуже розмиті), є кілька речей, які можна точно ствердити: з відкритих заяв Саму Альтману та Міноборони (звісно, остаточно підтвердити можна лише після ознайомлення з текстом контракту), їхня модель співпраці приблизно така: сама модель не має жодних юридичних обмежень щодо використання, так званих «усіх легальних цілей»; водночас створюється так званий «захисний шар». На мою думку, цей «захисний шар» по суті є механізмом відмови моделі, який використовується для блокування виконання певних завдань або участі у певних застосунках.

Цей «захисний шар» також може означати рішення, яке пропонують нам партнери (наприклад, Palantir, з якими Anthropic співпрацює при обслуговуванні урядових клієнтів США), — вони пропонують нам систему класифікаторів або машинного навчання, що нібито дозволяє деякі застосунки пропускати, а інші блокувати. Також є ознаки того, що OpenAI планує залучати співробітників (FDE — фронтових інженерів розгортання) для контролю використання моделей, щоб запобігти неправильним застосуванням.

Наші загальні висновки такі: ці схеми не є цілком безкорисними, але в контексті військових застосувань приблизно 20% — справжній захист, а 80% — це просто «показуха безпеки».

Проблема в тому, що: чи використовується модель для масштабного спостереження або для повністю автономних систем озброєння, залежить від ширшого контексту. Самі моделі не знають, у якій системі вони працюють, вони не розуміють, чи є людина у «ланцюзі управління» (human-in-the-loop, що є ключовим у питанні автономної зброї), і не знають, звідки беруться дані для аналізу. Наприклад, це можуть бути внутрішні дані США або зовнішні, надані компаніями з їхньої згоди або куплені через сіру схему.

Працівники, що займаються безпекою, давно це усвідомлюють: механізми відмови моделей ненадійні. Втечі з системи (jailbreak) — дуже поширене явище, і часто достатньо просто сфальсифікувати дані, щоб обійти ці обмеження.

Ще одна ключова різниця у тому, що визначити, чи виконує модель мережеву атаку, за допомогою аналізу вхідних та вихідних даних досить просто; але визначити характер атаки та її конкретний контекст — зовсім інше, і саме цю здатність потрібно мати. У багатьох випадках це дуже складно або навіть неможливо зробити.

Що ще гірше, — ситуація з «захисним шаром», який пропонують нам Palantir (і, ймовірно, вони пропонували подібні схеми OpenAI), — майже повністю є «показухою безпеки». Наші висновки — це майже повна імітація безпеки.

Основна ідея Palantir така: «У вашій компанії можуть бути незадоволені співробітники, і вам потрібно щось їм дати, щоб їх заспокоїти або зробити так, щоб те, що відбувається, було їм непомітним. Це саме те, що ми пропонуємо».

Що стосується питання безпосереднього контролю співробітників Anthropic або OpenAI під час розгортання — ми обговорювали це кілька місяців тому під час розробки внутрішньої політики прийнятного використання (AUP) у режимі розширеної секретності. Висновок був дуже ясним: цей підхід можливий лише у дуже рідкісних випадках. Ми будемо намагатися, але це не може бути основним механізмом безпеки, особливо у секретних умовах. До речі, ми вже робимо все можливе в цьому напрямку, і в цьому плані ми не відрізняємося від OpenAI.

Отже, я хочу сказати: заходи, які вживає OpenAI, фактично не вирішують проблему.

Їхній вибір — погодитися на ці схеми, тоді як ми — ні, — зумовлений суттю: їхня мета — заспокоїти співробітників, а наша — запобігти зловживанням.

Ці схеми не позбавлені сенсу, і ми самі використовуємо частину з них, але вони далеко не достатні для забезпечення належного рівня безпеки. Також очевидно, що Міноборони ставиться до OpenAI і до нас по-різному.

Насправді, ми намагалися додати до контракту кілька схожих на OpenAI положень щодо безпеки (як доповнення до AUP, оскільки, на нашу думку, саме AUP є більш важливим документом), але Міноборони відмовилося. Це підтверджується відповідною перепискою. Через мою зайнятість можливо, що колеги пізніше знайдуть точний текст. Тому твердження, що «OpenAI пропонували нам свої умови, і ми їх відхилили», — неправдиве; так само неправда, що «умови OpenAI здатні ефективно запобігти масштабному внутрішньому спостереженню або повністю автономним системам озброєння».

Крім того, заяви Саму та OpenAI натякають, що наші червоні лінії — повністю автономна зброя та масштабне внутрішнє спостереження — вже є незаконними, і тому відповідні політики використання є зайвими. Це майже ідентична позиція Міноборони, і виглядає так, ніби вони узгоджували її заздалегідь.

Але це не відповідає дійсності.

Як ми вже пояснювали у нашій заяві вчора, Міноборони дійсно має право на внутрішнє спостереження. У минулому, до появи AI, ці повноваження були менш значущими, але в епоху AI їхній зміст кардинально змінився.

Наприклад, Міноборони може легально купувати у постачальників великі обсяги приватних даних громадян США (які зазвичай отримують через приховані угоди з користувачами), а потім за допомогою AI аналізувати ці дані у масштабах, створювати профілі громадян, оцінювати їх політичні нахили, відслідковувати їхні дії у реальному просторі — навіть отримувати GPS-дані тощо.

Ще один важливий момент: наприкінці переговорів Міноборони запропонувало, що якщо ми виключимо з контракту один пункт, що стосується «аналізу великих обсягів придбаних даних», — вони погодяться прийняти всі інші наші умови. А цей пункт є єдиним у контракті, що точно відповідає нашим найсерйознішим побоюванням. Це викликає у нас великі сумніви.

Що стосується питання автономної зброї, — Міноборони стверджує, що «людина має бути у ланцюзі управління» — але це неправда. Насправді, це лише політика Пентагону часів адміністрації Байдена, яка вимагає участі людини у процесі прийняття рішення про запуск зброї. Однак цю політику може односторонньо змінити чинний міністр оборони Піт Гегсіт, і саме це нас найбільше турбує. Тому з реальної точки зору це не є справжнім обмеженням.

Громадські заяви OpenAI та Міноборони з приводу цих питань або є брехнею, або навмисним створенням плутанини. Ці факти демонструють певний шаблон поведінки, і я вже бачив його багато разів у Саму Альтмані. Сподіваюся, всі це розпізнають.

Сьогодні вранці він спершу заявив, що підтримує наші червоні лінії, щоб виглядати так, ніби він нас підтримує, і тим самим привласнити частину нашої заслуги, а також уникнути критики при підписанні контракту. Він намагався створити образ «лідеру, який прагне встановити єдині стандарти контрактів для всієї галузі» — тобто миротворця і посередника.

Але за лаштунками він укладає контракт із Міноборони, готуючись замінити нас у момент, коли нас позначать як ризик у ланцюзі поставок.

Водночас він має переконатися, що цей процес не виглядає так, ніби «у Anthropic дотримуються червоних ліній, а OpenAI їх ігнорує». Це можливо зробити завдяки тому, що:

по-перше, він може підписати всі «показні заходи безпеки», які ми відхиляємо, а Міноборони та їхні партнери готові їх підтримати, щоб створити достатньо переконливий образ і заспокоїти своїх співробітників;

по-друге, Міноборони готове прийняти деякі з його умов, які раніше ми пропонували, але нам тоді відмовили.

Саме ці дві обставини дозволяють OpenAI укласти угоду, а нам — ні.

Головна причина, чому Міноборони і адміністрація Трампа не люблять нас — це те, що ми не робили політичних пожертв Трампу (на відміну від OpenAI і Грега Брокмана, які зробили багато), не вихваляли Трампа як диктатора (а це зробив Сам), підтримуємо регулювання AI, що суперечить їхній політичній програмі, і в багатьох питаннях щодо політики AI говоримо правду (наприклад, про заміщення робочих місць штучним інтелектом), а також — ми дотримуємося червоних ліній і не створюємо «показуху безпеки» для заспокоєння співробітників.

Сам зараз намагається все це представити як: «Ми важко співпрацюємо, ми жорсткі, у нас немає гнучкості» — і я хочу, щоб усі це усвідомлювали, бо це класична тактика газлайтингу.

Неясне формулювання «з нами важко працювати» часто використовується для приховування справді непривабливих причин — про які я вже згадував: політичні пожертви, політична лояльність і показуха безпеки.

Кожен має це розуміти і заперечувати цю оповідь у приватних розмовах з працівниками OpenAI.

Інакше кажучи, Сам намагається послабити нашу позицію під виглядом «підтримки нас». Я хочу, щоб усі залишалися пильними: він через цю тактику послаблює громадську підтримку нас і робить так, щоб уряд легше міг нас карати. Навіть підозрюю, що він може таємно підбурювати, хоча наразі у мене немає прямого доказу.

На рівні громадськості та медіа ця риторика і маніпуляції вже, здається, втрачають ефективність. Більшість вважає, що угода OpenAI з Міноборони викликає занепокоєння і навіть тривогу, і сприймає нас як сторону, що дотримується принципів (до речі, зараз ми вже другі у рейтингу додатків у App Store).

【Примітка: згодом Claude піднявся на перше місце в App Store.】

Звісно, ця історія працює на деяких ідіотів у Твіттері, але це не має значення. Мене справді турбує, щоб ця риторика не почала поширюватися серед працівників OpenAI.

Через селекційний ефект, вони вже й так — досить легко піддаються переконанню. Але важливо й далі заперечувати цю оповідь, яку Сам намагається нав’язати своїм співробітникам.