Resumo

• Wikipédia proibiu o uso de LLMs para criar ou reescrever artigos, após votação com 40 votos a favor e 2 contra.
• A decisão foi motivada devido à alta de problemas de qualidade nos textos gerados por IA.
• Desde o ano passado, editores já tinham acesso à exclusão rápida de artigos ruins gerados por essas ferramentas.

A comunidade de editores da Wikipédia aprovou uma nova diretriz que limita o uso de inteligência artificial na plataforma. Segundo o site 404 Media, a decisão foi tomada em 20 de março e veta a utilização de modelos de linguagem (LLMs) para criar ou reescrever artigos na enciclopédia colaborativa.

A medida surge após meses de discussões internas e uma sequência de tentativas anteriores de regulamentar o uso dessas ferramentas na plataforma. O avanço de conteúdos gerados por IA, muitas vezes com falhas ou inconsistências, pressionou voluntários a estabelecer regras mais rígidas.

Por que a Wikipédia proibiu o uso de LLMs?

A nova diretriz defende que o principal problema está na qualidade do conteúdo gerado automaticamente. “O texto gerado por grandes modelos de linguagem (LLMs) frequentemente viola várias das políticas de conteúdo principais da Wikipédia”, escrevem os editores. “Por esse motivo, o uso de LLMs para gerar ou reescrever o conteúdo de artigos é proibido, exceto pelas exceções mencionadas abaixo”.

A votação teve ampla maioria favorável, com 40 votos a 2. Ainda assim, a política não impede totalmente o uso de IA. Os editores podem recorrer às ferramentas para sugerir ajustes simples em textos próprios, desde que haja revisão humana e que o sistema não produza conteúdo novo de forma autônoma.

A diretriz também alerta para riscos adicionais. Segundo o documento, é “necessário cautela, pois os LLMs podem ir além do que foi solicitado e alterar o significado do texto, de forma que ele não seja sustentado pelas fontes citadas”. Em traduções entre idiomas, por exemplo, o uso de IA deve seguir orientações específicas para evitar distorções.

Editores já podiam excluir artigos de IA rapidamente

O debate interno foi impulsionado pelo aumento de problemas relacionados à IA. Relatos administrativos envolvendo erros gerados por essas ferramentas se tornaram mais frequentes, sobrecarregando a equipe de voluntários responsável pela revisão de conteúdo.

Em agosto do ano passado, a organização aprovou a exclusão rápida de artigos ruins gerados por IA. A atual proposta, de proibição, foi elaborada com apoio de grupos como o WikiProject AI Cleanup, dedicado a identificar e remover conteúdos problemáticos criados por sistemas automatizados.

Ao mesmo tempo, a Wikimedia Foundation e os próprios editores evitam uma proibição total da tecnologia, reconhecendo que ferramentas automatizadas já fazem parte do funcionamento da plataforma.

Wikipédia proíbe uso de IA para criar e reescrever artigos

Resumo

• Hackers estão usando LLMs para criar páginas de phishing em tempo real no navegador.
• A técnica permite criar scripts únicos para cada vítima, adaptando o conteúdo do golpe.
• Os cibercriminosos conseguem escapar de análises de rede utilizando domínios confiáveis, transformando-os em interfaces de roubo de credenciais.

Pesquisadores da Unit 42, divisão de inteligência em ameaças da Palo Alto Networks, identificaram uma evolução crítica nos ataques de engenharia social: o uso de modelos de linguagem em grande escala (LLMs) para criar páginas de phishing que montam o código malicioso no navegador da vítima em tempo real.

O método permite que uma página aparentemente inofensiva se transforme em uma interface de roubo de credenciais personalizada. Ao utilizar domínios confiáveis de gigantes da tecnologia para entregar o conteúdo malicioso, os golpistas conseguem escapar até de ferramentas de análise de rede.

Inteligência artificial gera o código na hora

Em um cenário comum, o usuário clica em um link que o leva a um site hospedado em um domínio suspeito com código malicioso. Na nova abordagem, a vítima visita uma URL que não possui nada malicioso visível. Uma vez que a página é carregada, ela executa scripts que fazem solicitações de API para serviços de IA legítimos e populares.

Utilizando técnicas de engenharia de prompt, os cibercriminosos conseguem enganar os filtros de segurança dos LLMs para retornarem trechos de código JavaScript. Esse código é então montado e executado instantaneamente no navegador do usuário, criando a página de phishing.

A abordagem garante vantagens aos criminosos. Primeiro, cada vítima recebe uma versão diferente do script, impedindo a detecção por assinaturas digitais. Além disso, o tráfego de rede parece legítimo, já que os dados são trocados com infraestruturas de IA (como as do Google ou OpenAI) que raramente são bloqueadas em redes corporativas.

Segundo, o conteúdo pode ser adaptado com base na localização ou endereço de e-mail da vítima, tornando o golpe muito mais convincente.

Como se proteger das ameaças geradas por IA?

A detecção ainda é possível via rastreadores aprimorados baseados em navegador, que são capazes de monitorar a execução de scripts em tempo real. Essa solução, no entanto, é voltada às empresas e administradores de TI.

Para o usuário comum, valem as recomendações para se proteger de golpes de phishing.

Hackers recorrem aos LLMs para criar golpes mais convincentes

Resumo

• A Salesforce reconheceu falhas de confiabilidade em modelos de linguagem e está priorizando outras formas de IA, afetando o produto Agentforce.
• Problemas como a deriva da IA e alucinações geraram ineficiências, levando a empresa a focar em fundações de dados para reduzir erros.
• A Salesforce demitiu cerca de 4 mil funcionários, e as ações caíram 34% desde dezembro de 2024, mas a expectativa é que o Agentforce gere mais de US$ 500 milhões em receita anual.

A Salesforce, uma das maiores empresas de software corporativo do mundo, está recuando na implementação agressiva de grandes modelos de linguagem (LLMs) após enfrentar problemas de confiabilidade. A companhia, que defende a transformação do ambiente de trabalho com uso da tecnologia, agora busca alternativas mais estáveis para os produtos e reconhece as limitações técnicas para tarefas complexas.

Segundo o jornal The Information, Sanjna Parulekar, vice-presidente sênior de marketing de produtos da companhia, admitiu que houve queda no otimismo sobre a IA. “Todos nós estávamos mais confiantes sobre grandes modelos de linguagem há um ano”, afirmou a executiva.

O reposicionamento afeta diretamente o Agentforce, principal aposta recente da Salesforce na área de IA. O produto vinha sendo apresentado como uma plataforma de agentes capazes de executar tarefas complexas de forma autônoma, mas agora deve depender menos de respostas abertas geradas por LLMs – conforme explicado pela própria Salesforce mais abaixo.

Aleatoriedade gerou ineficiência

Entre os problemas identificados está o chamado AI drift — ou deriva da IA. Em uma publicação recente, o executivo Phil Mui explicou que agentes baseados em modelos de linguagem tendem a perder o foco quando confrontados com interações humanas fora do fluxo esperado.

Um exemplo são os chatbots projetados para auxiliar no preenchimento de formulários. Ao receberem perguntas irrelevantes do cliente, esses sistemas costumam se distrair, reduzindo a eficiência do fluxo de trabalho corporativo.

Além da perda de foco, a questão das alucinações pesou na decisão. O CEO da Salesforce, Marc Benioff, afirmou em entrevista ao Business Insider que está reescrevendo a estratégia anual da empresa. A nova diretriz prioriza fundações de dados em detrimento dos modelos de IA isolados.

Para Benioff, operar esses sistemas sem o contexto adequado aumenta drasticamente o risco de erros. Ele considera que, no ambiente corporativo, inventar informações incorretas com alta confiança é inaceitável.

Complementando as falas do CEO, a Salesforce entrou em contato com o Tecnoblog em 26/12 para ponderar que os LLMs “não conseguem tocar um negócio sozinhos”, apesar de serem incríveis. Ela defende que os clientes conectem a IA a dados precisos, lógica de negócio e governança “para transformar a inteligência bruta fornecida pelos LLMs em resultados confiáveis e previsíveis”.

De acordo com a empresa, o Agentforce foi criado como uma infraestrutura de IA capaz de gerar valor para os negócios, “com controles rigorosos e estruturas determinísticas” que otimizam os LLMs para o ambiente corporativo.

Salesforce diminuiu força de trabalho

A recalibragem da estratégia coincide com um momento de tensão na força de trabalho, após a Salesforce demitir cerca de 4 mil funcionários, principalmente da área de suporte, e atribuir parte do serviço a agentes de IA.

As ações da Salesforce registraram uma queda de aproximadamente 34% em relação ao pico atingido em dezembro de 2024, refletindo o ceticismo dos investidores quanto à capacidade da empresa de converter o hype da IA em resultados consistentes. Ainda assim, a projeção é de que a plataforma Agentforce gere mais de US$ 500 milhões em receita anual.

Executivos da Salesforce admitem redução da confiança na IA generativa

Resumo

• O Google identificou malwares que usam IA generativa, como o PromptFlux e o PromptSteal, para criar novos códigos e evitar detecção.
• Especialistas consideram que os malwares com IA ainda são limitados e ineficazes, com prompts fracos e falhas frequentes.
• O Google ajustou configurações do Gemini após descobrir falhas que permitiam gerar códigos maliciosos sob disfarce de hacker ético.

O Google publicou um relatório em que revela ter encontrado famílias de malware que usam inteligência artificial generativa durante a execução, criando novos códigos para roubar dados ou driblar sistemas de detecção.

Um exemplo é o PromptFlux. Ele usa a API do Gemini para reescrever seu código-fonte e evitar a detecção por sistemas de defesa. Outra amostra encontrada, o PromptSteal acessa um LLM hospedado no Hugging Face para gerar linhas de comando a serem executadas na máquina infectada, com o objetivo de roubar dados da vítima.

Já o PromptLock foi criado como parte de um estudo acadêmico que visava justamente analisar se os modelos de linguagem de larga escala (LLMs) são capazes de “planejar, adaptar e executar um ataque de ransomware”.

“Embora algumas implementações sejam experimentais, elas fornecem um indicador inicial de como as ameaças estão evoluindo e como podem integrar recursos de IA em futuras atividades de invasão”, diz o documento. “Os agentes estão indo além do ‘vibe coding’ e do patamar observado em 2024, de usar ferramentas de IA como suporte técnico.”

Ameaça existe, mas impacto real ainda é limitado

Apesar das descobertas, especialistas em cibersegurança consideram que não há nada de muito perigoso nos malwares criados com ajuda de inteligência artificial. O pesquisador Marcus Hutchins, famoso por sua atuação contra o ransomware WannaCry, aponta que os prompts presentes nas amostras analisadas pelo Google ainda são fracos ou inúteis.

“[O prompt] não especifica o que o bloco de código deve fazer ou como deve escapar de um antivírus. Ele parte da premissa de que o Gemini vai saber instintivamente como driblar as proteções (ele não sabe)”, escreveu Hutchins em sua página no LinkedIn.

Kevin Beaumont, também especialista no setor, tem uma avaliação semelhante. “Eu olhei as amostras. Muitas nem funcionam, falham imediatamente. Não tem nenhum perigo, se você tiver controles básicos de segurança”, comentou no post do colega.

O site Ars Technica conversou com profissionais de segurança. Um deles, que não quis se identificar, também minimizou o uso da tecnologia. “[A IA está] apenas ajudando autores de malware a fazer o que já faziam. Nada novo. A IA vai melhorar, mas não sabemos quando nem quanto”, pondera.

O próprio Google diz, no relatório, que o PromptFlux ainda é experimental, sem ser capaz de invadir o dispositivo ou a rede de uma vítima. E os pesquisadores responsáveis pelo PromptLock afirmaram que sua prova de conceito tinha claras limitações em técnicas como persistência, movimentação lateral e táticas de evasão avançadas.

No mesmo relatório, o Google revela ter encontrado uma falha nas proteções do Gemini. Um agente mal-intencionado conseguiu levar a IA a gerar códigos maliciosos se passando por um hacker ético, que estaria participando de uma competição de cibersegurança. A companhia diz ter ajustado as configurações para impedir ataques desse tipo.

Com informações do Ars Technica e da PCMag

Google descobre malware que usa IA para gerar novos códigos após invasão