Carta aberta da Anthropic: o falso Sam Altman, mestre do PUA

Título original: Leia o memorando do CEO da Anthropic atacando o anúncio “mendaz” do Pentágono pela OpenAI
Autor original: The Information
Traduzido por: Peggy, BlockBeats

Autor original do artigo: BlockBeats

Fonte original:

Reprodução: Mars Finance

Prefácio: Poucos minutos antes do anúncio da OpenAI sobre a parceria com o Pentágono em IA, o Pentágono anunciou a rescisão do acordo, alegando que a Anthropic insistia em cláusulas de segurança. Logo após, o CEO da Anthropic, Dario Amodei, enviou um memorando interno extremamente contundente aos funcionários, acusando que a maior parte do que a OpenAI afirma como “mecanismos de segurança” é apenas uma “demonstração de segurança”, e questionando sua posição sobre armas autônomas e vigilância em larga escala.

Neste email de cerca de 1600 palavras, Amodei revela detalhes das negociações com o sistema de defesa dos EUA e aponta diretamente para o CEO da OpenAI, Sam Altman, acusando-o de usar narrativas de relações públicas para esconder a verdadeira estrutura da cooperação. A controvérsia sobre aplicações militares de IA, limites de segurança e relações políticas está colocando em evidência as divergências entre as duas maiores empresas de IA do Vale do Silício.

A seguir, o texto original:

Quero deixar bem claro a respeito das informações atualmente divulgadas pela OpenAI e das falsidades nelas contidas. Essa é a sua verdadeira prática, e espero que todos possam perceber.

Embora ainda haja muitas incógnitas sobre o contrato assinado com o Departamento de Defesa (DoD), e talvez nem eles mesmos tenham total clareza, pois os termos provavelmente são bastante vagos, há alguns pontos certos: pelo que Sam Altman e o DoD descrevem publicamente (claro que só podemos confirmar após ver o texto do contrato), o modelo funciona mais ou menos assim: ele não possui restrições legais de uso, ou seja, “todos os usos legais”; além disso, há uma camada chamada de “camada de segurança”. Na minha visão, essa “camada de segurança” é, na essência, um mecanismo de recusa do modelo, usado para impedir que ele realize certas tarefas ou participe de determinadas aplicações.

A “camada de segurança” também pode se referir às propostas que os parceiros (como a Palantir, que trabalha com o governo dos EUA ao fornecer serviços à Anthropic) tentam nos vender durante as negociações. Eles propõem um classificador ou sistema de aprendizado de máquina que afirma permitir alguns usos enquanto bloqueia outros. Além disso, há indícios de que a OpenAI designa funcionários (FDE, ou engenheiros de implantação de linha de frente) para supervisionar o uso do modelo, evitando aplicações indevidas.

Nosso entendimento geral é: esses mecanismos não são totalmente ineficazes, mas, no contexto de aplicações militares, aproximadamente 20% representam uma proteção real, enquanto 80% são apenas uma “demonstração de segurança”.

A raiz do problema é que o uso do modelo para vigilância em larga escala ou armas autônomas depende de um contexto mais amplo. O modelo, por si só, não sabe em que sistema está inserido, não tem consciência se há um “loop humano” (human-in-the-loop, questão central das armas autônomas); também não conhece a origem dos dados que analisa. Por exemplo: são dados domésticos dos EUA ou de fora? Foram fornecidos com consentimento do usuário ou adquiridos por meios obscuros?

Quem trabalha com segurança há tempos sabe: os mecanismos de recusa do modelo não são confiáveis. Ataques de “jailbreak” são comuns, muitas vezes basta enganar o modelo sobre a natureza dos dados para contorná-los.

Há uma distinção ainda mais importante, que torna o problema mais complexo do que uma simples questão de segurança: identificar se o modelo está realizando um ataque cibernético, a partir de entradas e saídas, é relativamente fácil; mas entender a natureza do ataque e seu contexto específico é uma tarefa completamente diferente, e justamente essa é a habilidade que se busca aqui. Muitas vezes, essa tarefa é extremamente difícil ou até impossível de realizar.

A proposta da Palantir de uma “camada de segurança” (que, na nossa avaliação, eles também ofereceram à OpenAI) é ainda pior. Acreditamos que isso é quase que totalmente uma “demonstração de segurança”.

A lógica básica da Palantir parece ser: “Sua empresa pode ter funcionários insatisfeitos, vocês precisam dar algo para acalmá-los ou esconder o que está acontecendo. É exatamente isso que oferecemos.”

Quanto à supervisão direta por funcionários da Anthropic ou da OpenAI durante a implantação, discutimos isso há alguns meses ao revisar a política de uso aceitável (AUP) em ambientes de alta confidencialidade. A conclusão foi clara: essa abordagem só funciona em casos muito específicos. Tentaremos, mas não é uma garantia confiável, especialmente em ambientes sigilosos. Aliás, estamos fazendo o possível para isso, e nesse ponto não somos diferentes da OpenAI.

Portanto, afirmo: as medidas adotadas pela OpenAI são, na sua maioria, ineficazes.

A razão de eles aceitarem essas medidas e nós não, essencialmente, é que: eles focam em acalmar os funcionários, enquanto nossa prioridade é evitar abusos.

Essas medidas não são inúteis, usamos parte delas, mas estão longe de garantir a segurança adequada. Além disso, o Departamento de Defesa claramente trata a OpenAI e a nossa organização de forma diferente.

De fato, tentamos incluir cláusulas de segurança semelhantes às da OpenAI em nossos contratos (como complemento ao AUP, que consideramos mais importante), mas o DoD rejeitou. As evidências estão na cadeia de emails da época. Como estou ocupado, peço que meus colegas procurem os detalhes posteriormente. Portanto, a afirmação de que “as cláusulas da OpenAI nos foram oferecidas e rejeitadas” não é verdadeira; igualmente, dizer que “as cláusulas da OpenAI podem impedir vigilância doméstica em larga escala ou armas autônomas” também não é.

Além disso, as declarações de Sam e da OpenAI sugerem que nossa linha vermelha — armas autônomas completas e vigilância doméstica em larga escala — já é ilegal, e que, portanto, suas políticas de uso são redundantes. Essa narrativa é quase idêntica à do Departamento de Defesa, parecendo uma coordenação prévia.

Mas isso não é verdade.

Como explicamos ontem em nossa declaração, o DoD realmente possui autoridade para realizar vigilância doméstica. Antes da era da IA, esses poderes tinham impacto limitado; na era da IA, seu significado mudou completamente.

Por exemplo: o DoD pode legalmente comprar grandes volumes de dados pessoais de cidadãos americanos de fornecedores (que geralmente obtêm esses dados por meio de cláusulas de consentimento disfarçadas), e usar IA para analisar esses dados em larga escala, criando perfis civis, avaliando tendências políticas, rastreando movimentos no espaço físico — incluindo dados de GPS, por exemplo.

Outro ponto importante: na fase final das negociações, o DoD propôs que, se excluíssemos uma cláusula específica sobre “análise de dados adquiridos em massa” no contrato, aceitariam todas as outras condições. Essa cláusula, no entanto, é a única que corresponde exatamente às nossas maiores preocupações. Isso nos deixou bastante desconfiados.

No que diz respeito às armas autônomas, o DoD afirma que “o ser humano deve estar no loop”, mas isso não é verdade. Na prática, trata-se de uma política do Pentágono durante o governo Biden, que exige participação humana na decisão de disparo de armas. Essa política pode ser alterada unilateralmente pelo atual secretário de Defesa, Pete Hegseth — exatamente o que nos preocupa. Portanto, do ponto de vista prático, não é uma restrição real.

As muitas declarações públicas da OpenAI e do DoD sobre esses temas são, ou mentiras, ou tentativas de confundir. Esses fatos revelam um padrão de comportamento que já observei várias vezes em Sam Altman. Espero que todos possam reconhecê-lo.

Hoje de manhã, ele afirmou inicialmente concordar com a linha vermelha da Anthropic, com o objetivo de parecer favorável a nós, assim levando algum crédito, e evitar críticas ao assumir o contrato. Ainda tentou se apresentar como alguém que quer “estabelecer padrões unificados para toda a indústria” — ou seja, um pacificador e mediador.

Porém, nos bastidores, ele está fechando contrato com o DoD, preparando-se para nos substituir assim que formos considerados uma cadeia de suprimentos de risco.

Ao mesmo tempo, precisa garantir que esse processo não pareça que, enquanto a Anthropic mantém sua linha vermelha, a OpenAI estaria abandonando seus princípios. E consegue fazer isso porque:

Primeiro, assina todas as medidas de “demonstração de segurança” que rejeitamos, e o DoD e seus parceiros também estão dispostos a aceitar, embalando tudo de forma convincente para acalmar seus funcionários.

Segundo, o DoD aceita algumas cláusulas que, quando propostas por nós, foram rejeitadas inicialmente.

São esses dois fatores que permitem à OpenAI fechar o acordo, enquanto nós não conseguimos.

O verdadeiro motivo pelo qual o DoD e o governo Trump não gostam de nós é: não fizemos doações políticas ao Trump (enquanto a OpenAI e Greg Brockman doaram bastante); não fizemos elogios autoritários ao Trump (como Sam fez); apoiamos a regulamentação de IA, o que contraria sua agenda política; falamos a verdade sobre várias questões de políticas de IA (como o impacto no emprego); e, sobretudo, mantivemos nossa linha vermelha, ao contrário de criar “demonstrações de segurança” para acalmar os funcionários.

Sam tenta agora retratar tudo isso como: nossa dificuldade de cooperação, nossa postura rígida, nossa falta de flexibilidade. Quero que todos percebam que isso é uma típica manipulação de “gaslighting”.

A expressão vaga de “difícil de colaborar” costuma esconder as verdadeiras razões — que mencionei acima: doações políticas, lealdade política e demonstrações de segurança.

Todos precisam entender isso e, ao conversar com funcionários da OpenAI, refutar essa narrativa.

Em outras palavras, Sam está usando a postura de “nos apoiar” para enfraquecer nossa posição. Quero que todos fiquem atentos: ele, na verdade, está minando nossa credibilidade pública, facilitando que o governo nos penalize. E suspeito que ele possa estar, secretamente, incentivando isso — embora eu não tenha provas concretas até o momento.

No âmbito público e midiático, essa narrativa parece estar perdendo força. A maioria das pessoas já percebe que a negociação entre OpenAI e o DoD é preocupante, até inquietante, e nos vê como defensores de princípios (aliás, atualmente somos o segundo lugar na lista de downloads da App Store).

[Obs.: Depois, o Claude subiu para o primeiro lugar na App Store.]

Claro que essa narrativa funciona com alguns idiotas no Twitter, mas isso não é o mais importante. Meu maior receio é que ela influencie os funcionários da OpenAI internamente.

Por serem um grupo relativamente fácil de persuadir, é fundamental refutar essa narrativa que Sam tenta vender aos seus próprios funcionários.