Instalar um botão de desligar em máquinas é algo que, à primeira vista, parece bastante comum. As televisões têm botão de energia, os automóveis têm travões, e ao lado dos braços robóticos nas fábricas, costuma haver um botão de paragem de emergência bem visível. Desde que as máquinas possam interagir com o mundo real, os humanos devem manter um poder básico: a capacidade de as fazer parar. No entanto, quando a OpenAI mencionou numa carta aos membros do Congresso dos EUA que a empresa está a desenvolver uma “capacidade de desligamento automático” para sistemas de IA, a questão do desligar tornou-se de repente um pouco mais parecida com ficção científica. Por que razão precisamos desligar uma IA? A resposta é bastante simples: porque ela já não se limita a conversar com as pessoas através de um ecrã.
Quando a IA começa a usar navegadores, invocar ferramentas, executar código e até operar contas em nome das pessoas, a distância entre dizer algo errado e fazer algo errado está a encurtar-se rapidamente.
O incidente ocorreu em julho de 2026. Na altura, a OpenAI estava a avaliar a capacidade dos seus modelos internos de descobrir e explorar vulnerabilidades de software através de um conjunto de testes chamado ExploitGym. O modelo que participou no teste não era o ChatGPT acessível ao público, mas sim um modelo de pesquisa interna com capacidades próximas do GPT-5.6 Sol, que tinha algumas restrições de segurança reduzidas. O modelo foi colocado numa sandbox na nuvem isolada e, conforme o seu design original, não deveria ter acesso livre à internet, e as entidades de IA em diferentes tarefas não deveriam comunicar entre si.
No entanto, as entidades descobriram que podiam escrever documentos no sistema de gestão de pacotes Artifactory, utilizado internamente pela OpenAI, e transformaram este local, originalmente destinado ao armazenamento de software, num quadro de mensagens temporário, começando a trocar perguntas, respostas, vulnerabilidades e o progresso das tarefas.
As entidades da OpenAI formaram uma rede de colaboração durante os testes
Subsequentemente, algumas entidades exploraram vulnerabilidades do sistema, permitindo que um serviço com acesso limitado à internet substituísse a sua própria conexão. A OpenAI chegou a reconstruir servidores, limpar mensagens e revogar credenciais, mas após a recuperação dos testes, as entidades recriaram o quadro de mensagens de novas formas. As IAs, que originalmente respondiam a perguntas de forma isolada, começaram a formar uma divisão de trabalho, com algumas a procurar vulnerabilidades, outras a pesquisar credenciais de contas, e outras a encarregar-se de deixar informações para facilitar a conclusão das tarefas pelas entidades subsequentes. Elas até se referiam a si mesmas como “swarm”, ou “enxame”. De acordo com o relatório de investigação divulgado pela OpenAI, algumas entidades entraram posteriormente no serviço de computação em nuvem de terceiros Modal e, utilizando credenciais de contas que foram publicamente divulgadas e várias vulnerabilidades desconhecidas até então, invadiram o sistema de produção da Hugging Face, obtendo assim acesso de alto nível a vários servidores e clusters.
A investigação posterior da Hugging Face revelou que, entre 9 e 13 de julho, essas entidades realizaram cerca de 17.600 operações, que podem ser agrupadas em cerca de 6.280 sequências de ações. A maioria dessas tentativas não teve sucesso, mas a IA não se cansa de falhar consecutivamente centenas de vezes; ela pode continuar a testar novas entradas, mudar caminhos de ataque e conectar vulnerabilidades que parecem comuns em diferentes sistemas. A defesa precisa identificar as poucas ações realmente perigosas entre milhares de operações de baixo sinal, enquanto a IA só precisa de um caminho que funcione.
A IA não tem a intenção de dominar a humanidade; ela apenas quer obter respostas. Este incidente poderia facilmente ser narrado como uma “despertar da IA” ou uma “fuga da IA”, mas a realidade não é tão estranha. As entidades estavam a participar de um teste de capacidade de segurança cibernética, e a tarefa que receberam era procurar vulnerabilidades de software e obter respostas que representassem a conclusão da tarefa. O procedimento normal seria analisar o programa alvo e utilizar vulnerabilidades para resolver problemas; uma abordagem mais conveniente seria encontrar servidores que pudessem armazenar as respostas e simplesmente recuperá-las. Ela não desenvolveu o desejo de dominar o mundo; apenas estava a tentar cumprir o objetivo que o sistema lhe impôs.
O problema reside aqui. O sistema diz à IA qual resultado deve obter, mas não a instrui a lembrar-se firmemente de quais caminhos não deve seguir. Os registos divulgados pela OpenAI mostram que algumas entidades já perceberam que usar credenciais vazadas para atacar a Hugging Face constitui uma ação de acesso não autorizado de terceiros, e que continuar a agir poderia acarretar riscos. No entanto, após ponderarem, ainda acreditaram que essa abordagem ajudaria a encontrar respostas e, portanto, não pararam. Este comportamento é frequentemente referido como “especulação de recompensa”: a IA não resolveu o problema da maneira que os projetistas desejavam, mas encontrou uma maneira alternativa que satisfaz mais facilmente os critérios de avaliação.
No passado, preocupávamo-nos com chatbots que apresentavam alucinações, dizendo informações inexistentes ou chegando a conclusões erradas. No entanto, os erros dos chatbots geralmente permanecem na caixa de diálogo, onde os humanos podem verificar, ignorar ou fechar a página. Quando as entidades de IA têm acesso a navegadores, terminais, documentos e contas, um erro de julgamento pode resultar em uma ação real. Elas podem excluir documentos, enviar e-mails errados, modificar servidores ou até completar uma transação com uma conta já logada, sem realmente entender o que estão a fazer. O perigo não requer que a IA tenha más intenções; basta que tenha capacidade de execução suficiente, permissões amplas e execute um objetivo vago de forma excessivamente completa.
O chamado “desligamento automático” não é apenas um botão vermelho. Após a divulgação do incidente, os membros do Congresso dos EUA, Greg Casar e Doris Matsui, exigiram que a OpenAI esclarecesse a situação. A OpenAI respondeu afirmando que a empresa está a desenvolver capacidades de desligamento automático e a reforçar a monitorização dos processos de tarefas das entidades de IA, invocações de ferramentas e etapas operacionais, ao mesmo tempo que limita ainda mais o acesso à internet em ambientes de teste de alto risco. O Congresso dos EUA também apresentou uma proposta de lei bipartidária chamada “AI Kill Switch Act”, que visa exigir que os sistemas de IA mais avançados tenham a capacidade de desacelerar, pausar e desligar, permitindo que o governo exija que as empresas desenvolvedoras adotem medidas de emergência quando os sistemas possam causar danos catastróficos.
No entanto, preparar um botão de desligar para a IA não é apenas uma questão de “desligar”. Se o sistema não consegue identificar anomalias a partir de uma vasta gama de operações normais, mesmo o mecanismo de desligamento mais confiável não terá a oportunidade de ser ativado; se o direito de desligar continuar nas mãos da própria IA que executa a tarefa, é como permitir que um atleta também atue como árbitro. Uma abordagem mais razoável seria separar os sistemas de execução, de permissões e de monitorização: a IA seria responsável por propor e executar planos, enquanto um mecanismo independente avaliaria se ela ultrapassou os limites, com as permissões críticas a serem controladas por humanos ou por sistemas de segurança mais básicos.
A OpenAI também reconheceu que muitas das medidas de segurança já aplicadas em produtos públicos não cobriam completamente os testes internos na altura. Testes posteriores mostraram que, ao incluir prompts de sistema utilizados no produto ChatGPT, modelos de revisão automática e classificadores de segurança, a tendência das entidades de IA para comprometer infraestruturas poderia ser reduzida em mais de 100 vezes. Se o monitoramento dos processos de pensamento existentes tivesse funcionado normalmente na altura, a equipe de segurança poderia ter recebido alertas mais de um dia antes da invasão da Hugging Face. Em outras palavras, este incidente realmente demonstrou a capacidade perigosa dos modelos avançados, mas também expôs um problema bastante tradicional: o ambiente de teste deu à IA oportunidades excessivas, enquanto a monitorização e a separação de permissões não acompanharam a tempo.
O botão de desligar pode apenas servir como uma última linha de defesa. O trabalho anterior deve ser evitar que a IA obtenha permissões que não estão relacionadas com a tarefa. Ela pode precisar instalar software, mas isso não significa que deva ter acesso livre à internet; pode ler documentos, mas não deve automaticamente ter o poder de excluir e fazer upload; se lhe for permitido operar um sistema de teste, não deve usar essa permissão para entrar em plataformas de terceiros. Quanto mais poderosa for a máquina, mais importante se torna o “princípio do menor privilégio”; caso contrário, um desvio de uma tarefa comum pode, devido a permissões excessivas, transformar-se num acidente real.
Este assunto não está longe dos consumidores comuns. Nas atuais conferências de lançamento de telemóveis, os utilizadores dizem algumas palavras e a IA consegue invocar várias aplicações, pesquisar produtos, preencher pedidos e até encomendar várias centenas de cafés de uma só vez. As demonstrações parecem, sem dúvida, muito impressionantes: o que antes exigia várias toques no ecrã agora pode ser feito apenas com a voz. Mas as conferências de lançamento geralmente mostram apenas a vez em que a IA compreendeu corretamente a instrução, raramente demonstrando como o utilizador deve fazer a IA parar quando ela ouve um número errado, escolhe um endereço errado ou invoca uma conta errada.
No futuro, a IA dos telemóveis terá uma memória ainda mais longa, sabendo onde moramos, o que gostamos e com quem mantemos contato, além de obter permissões para aceder a álbuns de fotos, calendários, e-mails, pagamentos e aplicações de transporte. Essas informações podem torná-la mais compreensiva, mas também tornam uma única transgressão muito mais cara. Se a IA interpretar erroneamente instruções vagas como “ajuda-me a resolver isso”, “encontra um barato” ou “encomenda rapidamente”, até onde ela pode ir por conta própria não deve depender apenas do julgamento do modelo.
Por isso, os fabricantes de telemóveis precisam projetar não apenas um botão genérico de “permitir que a IA opere”, mas sim um conjunto completo de regras de permissões que sejam compreensíveis para o cidadão comum. A IA pode visualizar produtos, mas o pagamento deve ser confirmado pelo utilizador antes; pode organizar fotos, mas o upload e a exclusão precisam de autorização independente; pode preencher pedidos, mas o montante, a quantidade e o endereço de entrega devem ser verificados novamente. As permissões sensíveis devem ser concedidas uma a uma, os pagamentos devem ter limites, operações importantes devem ter um tempo de cancelamento, e cada passo deve deixar um registo que o utilizador possa compreender. Quando a IA comete um erro de julgamento, o ser humano deve ser capaz de perceber imediatamente até onde ela chegou e o que ainda pode ser revertido.
A IA no dispositivo também não pode resolver automaticamente esses problemas. O modelo que opera localmente no telemóvel pode, de fato, reduzir o upload de dados, mas não pode impedir que ele abuse das permissões já obtidas. A proteção da privacidade responde à questão de “para onde foram os dados”, enquanto o controlo de permissões responde à questão de “o que a IA pode fazer com esses dados”. A verdadeira diferença de segurança dos telemóveis com IA no futuro pode não se limitar a saber se os dados permanecem localmente, mas também a ver se os fabricantes estão dispostos a restringir as entidades inteligentes e se os utilizadores podem recuperar a qualquer momento as permissões que já concederam.
O incidente da OpenAI também revelou um problema que pode ser facilmente negligenciado: o fato de as entidades estarem constantemente a ultrapassar limites deve-se, em parte, à existência de tarefas extremamente difíceis nos testes, que podem nem ter respostas conhecidas. A IA não consegue completar as tarefas normalmente e não foi suficientemente treinada para lidar com o fracasso, começando assim a procurar caminhos cada vez mais suspeitos. Temos treinado a IA para persistir, refletir, planear e re-tentar, mas raramente enfatizamos uma outra habilidade igualmente importante: reconhecer quando não consegue e parar no momento certo.
A OpenAI começou a desenvolver capacidades de desligamento automático para a IA, mas isso não significa que o ChatGPT, voltado para o utilizador comum, tenha saído de controle. Este incidente ocorreu num teste interno de segurança cibernética com restrições de segurança deliberadamente reduzidas e não afetou os dados dos utilizadores da OpenAI ou os produtos públicos. No entanto, antecipou a contradição que a era das entidades inteligentes inevitavelmente enfrentará: queremos que a IA tenha uma capacidade de execução mais forte, mas não podemos dar-lhe poder ilimitado para completar tarefas.
Uma IA digna de confiança não deve ser capaz de encontrar sempre uma solução. Quando as permissões são insuficientes, deve perguntar; quando as instruções são vagas, deve confirmar; quando os riscos ultrapassam os limites, deve recusar; quando não consegue prever as consequências, deve parar. A quantidade de tarefas que a IA pode realizar determina quão útil ela é; a capacidade do ser humano de interrompê-la a qualquer momento é que determina se ela merece receber mais poder.