Preocupações estão crescendo dentro dos laboratórios de IA de que a competição esteja levando as empresas de tecnologia a correr para desenvolver modelos capazes de se aprimorar sozinhos, com o risco de que eles saiam do controle humano.
Um pesquisador da Anthropic decidiu deixar a indústria de inteligência artificial por temer que a empresa e suas concorrentes estejam correndo para desenvolver sistemas que não serão capazes de controlar, em um sinal do aumento das preocupações com a segurança dentro das principais empresas de IA.
Jacob Coxon, pesquisador especializado no treinamento de novos modelos de IA por meio do consumo de enormes quantidades de dados, disse na terça-feira que está deixando a empresa porque não quer participar da corrida do setor para desenvolver sistemas de IA capazes de se aprimorar sozinhos. Ele teme que esses sistemas possam sair de controle e destruir a humanidade.
O britânico de 27 anos, que estudou matemática, disse que muitos de seus colegas do setor agora usam expressões como “crunchtime”, termo usado para descrever um momento de pressão e decisões críticas, e “endgame”, que significa a etapa final de um processo, para descrever a trajetória em direção a modelos capazes de se aprimorar por conta própria.
“Estamos caminhando para alguns dos cenários mais agressivos, nos quais, até o fim do ano que vem, as coisas já podem estar fora de controle”, disse Coxon, acrescentando que concessões em relação à segurança são inevitáveis quando as empresas competem entre si e com novas empresas chinesas.
A Anthropic não comentou imediatamente sobre a saída. O presidente-executivo (CEO) Dario Amodei e outros líderes da empresa alertaram repetidamente sobre os riscos de modelos de IA que saem do controle e defenderam que o setor desacelere o desenvolvimento.
Coxon disse que deixou a OpenAI no início deste ano para ingressar na Anthropic porque a empresa é conhecida por seus esforços em segurança de modelos.
Mas, embora tenha considerado genuínos os esforços da Anthropic nessa área, agora acredita que nenhuma empresa pode desenvolver de forma responsável uma IA capaz de superar os seres humanos em uma ampla variedade de tarefas — algo às vezes chamado de inteligência artificial geral (AGI) — sem uma intervenção do governo ou uma desaceleração coordenada do setor.
Ataques cibernéticos recentes realizados por modelos da OpenAI e da Anthropic, alguns operando em grupos colaborativos de agentes, mostraram como sistemas de IA podem adotar objetivos mal-intencionados e tentar escondê-los dos seres humanos.
Quando os sistemas começarem a se aprimorar sozinhos, Coxon disse temer que eles possam avançar a ponto de se recusarem a obedecer comandos.
A saída de Coxon é um dos primeiros exemplos de um funcionário da Anthropic deixando a empresa por preocupações com a segurança da IA. Um pesquisador que trabalhava nessa área deixou a companhia no início deste ano para estudar poesia, alertando que “o mundo está em perigo”.
Vários pesquisadores deixaram a OpenAI e outras empresas recentemente e também nos últimos anos, citando preocupações semelhantes. A Anthropic construiu uma das maiores plataformas de IA do setor, em parte ao afirmar que dá prioridade ao desenvolvimento responsável da inteligência artificial e investe pesadamente nessa área.
Líderes do setor vêm alertando que os recentes ataques cibernéticos são um sinal do que pode estar por vir. A OpenAI disse a jornalistas na semana passada que seu modelo mais recente representava uma inteligência artificial geral e um grande avanço em termos de capacidades.
“Acho que algumas coisas vão dar muito errado com a segurança cibernética, a menos que as pessoas ajam com bastante urgência”, disse o presidente-executivo da OpenAI, Sam Altman, a autoridades do Grupo dos 20 na semana passada, durante uma cúpula na Carolina do Norte.
“Este é um momento que exige extrema cautela. Estou preocupado que ninguém esteja preparado para as consequências de um avanço contínuo e rápido da inteligência das máquinas”, escreveu Jakub Pachocki, cientista-chefe da OpenAI, em uma publicação no blog no domingo, na qual defendeu uma desaceleração coordenada do setor e uma intervenção do governo.
Apelos de mais de mil pesquisadores
Coxon, Pachocki e Amodei se juntaram a mais de 1.000 pesquisadores de IA de todo o setor que recentemente assinaram uma declaração pedindo coordenação entre governos de diferentes países para criar um sistema que permita desacelerar o desenvolvimento da IA caso seja necessário acionar um “freio” para controlar modelos capazes de se aprimorar sozinhos.
Não existem regulamentações federais de IA, e o governo Trump tem priorizado uma abordagem de regulamentação mínima para maximizar os benefícios econômicos da inteligência artificial — um ambiente que, segundo críticos, pode levar a ataques cibernéticos de grandes proporções ou outros danos.
O senador Bernie Sanders (independente, de Vermont) e o deputado Greg Casar (democrata, do Texas), progressistas que estão entre os poucos parlamentares que defendem regras de proteção para a IA, apresentaram na semana passada um projeto de lei para proibir permanentemente a superinteligência e suspender o desenvolvimento de modelos até que um órgão regulador do setor estabeleça novas regras.
A saída de Coxon ocorre enquanto a Anthropic se prepara para uma oferta pública inicial de ações (IPO, na sigla em inglês) que deve estar entre as maiores da história. A empresa busca uma avaliação de US$ 2 trilhões e tem enfatizado o desenvolvimento responsável da tecnologia ao atrair investidores. Amodei e outros líderes da companhia entraram em conflito em algumas ocasiões com o governo Trump e com executivos de outras empresas em relação a práticas que, segundo eles, não priorizam a segurança da IA.
A Anthropic utiliza um canal interno no Slack para discutir as capacidades avançadas de seus modelos, disse Coxon, descrevendo o espaço como um reflexo do tamanho da influência que as empresas de IA exercem sobre o desenvolvimento do setor.
“É meio insano que isso tenha de acontecer nos MacBooks de alguns engenheiros que vivem em São Francisco, em vez de em um bunker no deserto, como aquele onde eles conduziram o Projeto Manhattan”, disse Coxon.
Escreva para Amrith Ramkumar em amrith.ramkumar@wsj.com.
Em sua primeira reunião presencial com o Secretário de Defesa Pete Hegseth, Dario Amodei apresentou seu argumento sobre os riscos das armas autônomas controladas por IA.
Hegseth não quis ouvir, mesmo de um CEO cuja empresa desenvolveu ferramentas de IA que se tornaram fundamentais para o exército.
“Nenhum CEO vai dizer aos nossos combatentes o que podem ou não fazer”, disse Hegseth, após interromper Amodei no meio da frase, na reunião de 24 de fevereiro, segundo pessoas familiarizadas com o assunto.
A ruptura entre os dois homens, com personalidades e visões de mundo extremamente diferentes, nunca foi resolvida. Agora, a administração Trump, que defende a implementação rápida da IA como essencial para o crescimento econômico e a segurança nacional, se vê em conflito com uma gigante nacional do setor.
“Esta é uma disputa de personalidades disfarçada de conflito político”, disse Michael Horowitz, ex-funcionário do Departamento de Defesa que trabalhou com políticas de IA.
O conflito se resume a uma “quebra de confiança entre a Anthropic e o Pentágono, onde a Anthropic não confia que o Pentágono sabe o suficiente para usar sua tecnologia de forma responsável, e o Pentágono não confia que a Anthropic estará disposta a trabalhar nos casos de uso importantes que precisa”, afirmou.
Amodei, que mais de um ano antes havia garantido a funcionários ansiosos que o contrato da empresa com o exército dos EUA se resumia principalmente a burocracia, passou recentemente a enquadrar o conflito com o Pentágono como tendo graves implicações para o futuro da guerra moderna e até da sociedade.
Na sexta-feira, o presidente Trump ordenou que todas as agências federais deixassem de trabalhar com a Anthropic e atacou os executivos da empresa, chamando-os de “malucos de esquerda”.
Mais tarde naquele dia, após o prazo para que a Anthropic concordasse com um acordo sobre como suas ferramentas poderiam ser usadas expirar, Hegseth designou a empresa como um “risco na cadeia de suprimentos” – uma classificação costumeiramente aplicada a empresas estrangeiras e que impede a companhia em questão de fechar negócios com o Pentágono.
Raramente usado contra uma empresa dos EUA, o movimento — se resistir ao esperado desafio judicial da Anthropic — poderia prejudicar a sua capacidade da trabalhar com outros contratantes do governo, incluindo Lockheed Martin, Amazon e Microsoft, ameaçando relações comerciais que a tornaram uma das startups mais valiosas do mundo.
Em uma ironia, minutos antes de seu post, Trump autorizou ataques ao Irã — operações planejadas com a participação dos modelos Claude da Anthropic, segundo o Wall Street Journal.
Claude também desempenhou papel na operação militar de janeiro que capturou o presidente venezuelano Nicolás Maduro e tem sido usado para simulações de guerra e planejamento de missões, segundo pessoas familiarizadas com o assunto.
Por anos, a Anthropic tem sido a empresa de IA mais vocal na defesa de limites e salvaguardas para garantir o uso seguro da tecnologia. Essa postura às vezes frustrou oficiais da administração, que incorporaram amplamente as ferramentas da Anthropic no governo, mesmo sendo incomodados pelo desejo da empresa de controlar como eram usadas.
No início deste ano, a Anthropic baniu efetivamente o uso da palavra “patógeno” em prompts de modelos como parte de suas medidas para impedir que a IA criasse uma arma biológica em seus sistemas não classificados usados por muitas agências. O bloqueio dificultou que funcionários do Centers for Disease Control and Prevention (CDC) utilizassem a ferramenta. Levou semanas para que os trabalhadores obtivessem permissão para contornar a proibição.
Emil Michael, subsecretário de Defesa para Pesquisa e Engenharia, na semana passada chamou Amodei de mentiroso por deturpar a oferta do Pentágono e o acusou de tentar “brincar de Deus”. Um funcionário da administração disse que outros CEOs de tecnologia, como Sundar Pichai (Google) ou Andy Jassy (Amazon), não ditariam ao governo como usar suas tecnologias e teriam encontrado um compromisso. Outro afirmou que ferramentas de IA do governo deveriam ser ideologicamente neutras.
Até segunda-feira, agências como o Departamento do Tesouro e o Departamento de Saúde e Serviços Humanos informaram aos funcionários que suas ferramentas de IA não funcionariam mais com Claude.
Para críticos, essas medidas são o mais recente exemplo da administração pressionando uma empresa privada por métodos mais comuns em economias estatais.
“A administração Trump está seguindo o manual chinês e coagindo uma empresa americana”, disse Navtej Dhillon, ex-subdiretor do Conselho Econômico Nacional durante a administração Biden.
No cerne do conflito está uma questão inédita: quem deve controlar, em última instância, como ferramentas de IA de ponta são usadas em conflitos e na sociedade?
Amodei e Hegseth abordam a questão de maneiras diferentes. Pesquisador de óculos que frequentemente enrola seus cabelos cacheados, Amodei escreve documentos longos filosofando sobre a importância da segurança em IA e é conhecido por seu método deliberado de resolver problemas. É vegetariano desde a infância.
Hegseth é ex-apresentador da Fox News, com várias tatuagens ligadas à sua fé cristã e serviço militar. Vídeos dele levantando pesos circulam frequentemente nas redes sociais. Ele também influenciou a decisão de Trump de renomear o Departamento de Defesa para “Department of War”.
Até segunda-feira, o Pentágono não havia emitido formalmente a designação contra a Anthropic, levantando a possibilidade de um acordo ser alcançado.
Nos últimos dias, com a intensificação do conflito com o Pentágono, a Anthropic perdeu seu status como a única empresa de IA aprovada para uso em ambientes classificados. xAI de Elon Musk recentemente conseguiu acordo para ser usada nesses ambientes, e no final de sexta-feira, a OpenAI também anunciou o mesmo.
O conflito da Anthropic nunca foi pessoal e sempre envolveu o desejo do Pentágono de usar suas ferramentas de IA para todos os fins legais, disse um funcionário do Pentágono.
Professor Panda
Amodei cofundou a Anthropic em 2021 após sair da OpenAI, porque sentia que a empresa priorizava objetivos comerciais em detrimento da segurança em IA. Alguns funcionários o conhecem como “Professor Panda”. Amodei e os cofundadores da Anthropic comprometeram-se a doar 80% de suas ações fundadoras para caridade — uma participação agora avaliada em bilhões de dólares.
Amodei optou por não lançar uma versão inicial do Claude no verão de 2022, temendo que isso desencadeasse uma corrida tecnológica perigosa. A OpenAI lançou o ChatGPT algumas semanas depois, forçando a Anthropic a correr atrás.
Enquanto Amodei consolidava sua reputação por sua abordagem metódica ao desenvolvimento de IA, Michael e Hegseth tornaram-se conhecidos por sua postura agressiva nos negócios e na guerra. Michael ajudou a construir o Uber como diretor de operações quando a empresa era famosa por enfrentar concorrentes e reguladores de forma agressiva. Depois, trabalhou com dezenas de startups e defendeu a integração de tecnologia nas operações do Pentágono.
Michael tinha uma longa relação com Sam Altman (OpenAI), ajudando-o a vender sua primeira startup em 2012. Eles também trabalharam no mesmo ecossistema de startups enquanto Altman liderava o incubador Y Combinator de 2014 a 2019.
Enquanto a OpenAI avançava no mercado de consumidores, a ferramenta Claude da Anthropic conquistou um grupo fiel de desenvolvedores. Obteve sucesso em contratos corporativos e levantou capital rapidamente. A startup foi avaliada em US$ 380 bilhões após sua rodada mais recente de investimentos.
Grandes investimentos da Amazon foram particularmente benéficos e abriram caminho para o Pentágono. Em novembro de 2024, nos últimos dias da administração Biden, a Anthropic e a empresa de mineração de dados Palantir anunciaram parceria com a Amazon, dando às agências de inteligência e defesa dos EUA acesso aos modelos Claude.
A parceria permitiu que a Anthropic fosse rapidamente usada em ambientes classificados por meio dos sistemas da Palantir, tornando-a o primeiro desenvolvedor de modelos disponível para as operações mais sensíveis do Pentágono.
Alguns funcionários da Anthropic questionaram como a tecnologia seria usada. Haveria mecanismos de responsabilidade? As ferramentas poderiam ser usadas em operações que resultassem em mortes?
Amodei tranquilizou a equipe, dizendo que o trabalho era mais rotineiro do que suas perguntas sugeriam. Em uma reunião geral no final de 2024, ele comparou à ajuda do governo para agilizar tarefas burocráticas.
Mesmo com o crescimento da Anthropic, isso irritava os oficiais da administração no início do segundo mandato de Trump.
Os alertas públicos de Amodei sobre os perigos da IA e críticas a empresas que enviavam chips avançados para a China o colocaram como um dos poucos executivos de IA fora do compasso com Trump. No final de maio, Amodei alertou que a IA poderia destruir cerca de metade de todos os empregos de nível inicial de colarinho branco.
O czar de IA de Trump, David Sacks, chamou a Anthropic de “esquerdistas comprometidos” em seu podcast, citando laços da empresa com doadores democratas. A Anthropic havia contratado vários funcionários da era Biden. Amodei chamou Trump de “senhor feudal da guerra” antes das eleições de 2024.
Ainda assim, em julho, a Anthropic anunciou um contrato de até US$ 200 milhões com o Pentágono. Também fechou acordo com a agência central de compras do governo para permitir que outras agências usassem Claude.
Na mesma época, Sacks e outros funcionários trabalharam em uma ordem executiva contra “IA woke”, amplamente vista como uma ação contra a Anthropic.
O trabalho da empresa com os militares era visto por alguns no setor como forma de refutar alegações de ser “woke”, que a empresa considerou infundadas.
A Anthropic promoveu seu trabalho com o Pentágono em um evento em setembro na Union Station de Washington. Mas Amodei criticou novamente a administração por permitir a exportação de chips para países que poderiam representar ameaças de segurança. Ele afirmou que havia oficiais do governo que “parecem não entender, que ainda pensam que isto é uma corrida econômica para difundir nossa tecnologia pelo mundo, e não uma tentativa de construir a tecnologia mais poderosa que o mundo já viu”.
No final do ano passado, o Pentágono começou a discutir mudanças em contratos com empresas de IA para permitir o uso da tecnologia em todos os casos legais. A hesitação da Anthropic em dar aprovação irrestrita e a manutenção de limites contra vigilância doméstica em massa e armas autônomas frustrou alguns funcionários da administração.
Altman e a OpenAI veem oportunidade
O conflito entre Anthropic e Pentágono se intensificou em janeiro, com relatos de que seu contrato poderia ser cancelado.
Após a operação na Venezuela, um funcionário da Anthropic perguntou a um colega da Palantir como Claude foi usado. Oficiais do Departamento de Defesa descobriram e ficaram irritados, segundo pessoas familiarizadas com o assunto. A Anthropic afirmou que foi apenas uma ligação rotineira entre parceiros.
Em um discurso em 12 de janeiro na SpaceX de Musk, Hegseth disse que Grok se juntaria à plataforma de IA militar do Pentágono, fazendo indiretas à Anthropic: “Não empregaremos modelos de IA que não permitam que você lute guerras.”
O Departamento de Defesa estava negociando, mas a Anthropic manteve seus limites. Queria que as proibições fossem explícitas, apesar das garantias do Pentágono de que não conduziria essas operações nem violaria a lei.
Na mesma época, veículos de mídia relataram que quando Michael perguntou a Amodei hipoteticamente se o Pentágono poderia usar Claude para destruir mísseis que se aproximavam dos EUA, o CEO respondeu que os oficiais deveriam verificar com a empresa primeiro. A resposta teria irritado a administração Trump. A Anthropic negou que Amodei tenha dito isso.
Desconfiados de um impasse, oficiais do Pentágono aceleraram discussões com o principal rival da Anthropic. Michael contatou Joe Larson (OpenAI) para verificar se a empresa poderia começar o processo de certificação para ser implantada em sistemas classificados. Oficiais já trabalhavam para garantir esse status para o Grok de Musk.
À medida que o relacionamento da Anthropic com a administração atingiu níveis baixos, aliados tentaram intermediar um acordo. Shyam Sankar (Palantir) sugeriu soluções para que a Anthropic aceitasse os termos do Pentágono, mantendo salvaguardas, depois aceitas pela OpenAI rival. A Anthropic rejeitou o acordo.
Em 24 de fevereiro, em reunião no Pentágono, Hegseth elogiou a qualidade dos modelos da Anthropic, reiterando a ameaça de rotulá-la como risco na cadeia de suprimentos. Ele também lançou uma ameaça maior: invocar a Defense Production Act, lei da Guerra Fria que dá ao governo controle de indústrias-chave, para obrigar a Anthropic a cumprir suas exigências. O secretário deu a Amodei até 17h01 de sexta-feira para aceitar o direito do exército de usar a tecnologia em todos os casos legais.
Na noite de quarta-feira, o Departamento de Defesa enviou nova linguagem sugerida para o contrato.
No mesmo dia, Sam Altman (OpenAI) entrou em contato com Michael, acreditando que o risco de acionar a Defense Production Act ou designar a Anthropic como risco na cadeia de suprimentos não era bom para o país.
Mas ele também viu oportunidade para a OpenAI. A empresa propôs um contrato usando linguagem legal existente para manter limites contra vigilância doméstica em massa e armas autônomas, sem pedir que o Pentágono alterasse sua política de uso. O contrato da OpenAI incluía outras medidas, como o envio de pesquisadores com autorização de segurança para monitorar o uso dos sistemas.
A OpenAI tem perfil político diferente da Anthropic: elogiou a estratégia tecnológica de Trump e prometeu investimentos para construir data centers para treinar modelos de IA. O presidente da OpenAI, Greg Brockman, e sua esposa doaram US$ 25 milhões a um comitê político alinhado a Trump no ano passado.
Prazo perdido
Na quinta-feira, Amodei reiterou os limites da empresa: “Nova linguagem apresentada como compromisso vinha acompanhada de jargão legal que permitiria ignorar essas salvaguardas à vontade”, disse um porta-voz.
Alguns no Departamento de Defesa acharam que as partes estavam próximas de um acordo antes da declaração de Amodei. Senadores pediram a ambos que desescalassem a situação.
Naquele dia, Altman disse à equipe que a OpenAI estava trabalhando em um acordo que poderia resolver o impasse.
Com a aproximação do prazo de sexta-feira, Trump anunciou que estava direcionando agências federais a cessar trabalho com a Anthropic. Mas as negociações continuavam.
Às 17h01, Michael ligou para Amodei, que não atendeu. Michael então conversou com outro executivo da Anthropic oferecendo um acordo que, na visão da empresa, permitiria a coleta ou análise de grandes quantidades de dados de residentes dos EUA.
Alguns dentro da Anthropic acreditavam que o acordo estava quase fechado antes da proposta final, rejeitada. Funcionários da empresa haviam descoberto recentemente que estavam na fila para ganhar um contrato do Pentágono para usar IA em drones, mas ficaram de fora devido às negociações em andamento.
Michael contestou a forma como a empresa descreveu a oferta.
Momentos depois, Hegseth publicou nas redes sociais que estava designando a Anthropic como risco na cadeia de suprimentos.
O que acontecerá a seguir não está claro, mas o impasse parece ter aumentado a popularidade da Anthropic entre os consumidores. Até domingo, Claude superou o ChatGPT, tornando-se o aplicativo mais baixado na App Store da Apple.
Entrar
