OpenAI Chief Scientist Jakub Pachocki publicou recentemente um longo artigo intitulado “An Alien Mind” no site oficial da OpenAI, onde emite um severo aviso, apontando que a humanidade está a construir um “cérebro alienígena” que não consegue compreender, mas que atualmente todos os lados não estão preparados. Pachocki afirma no texto que, neste momento, nenhum laboratório de IA resolveu verdadeiramente os problemas de alinhamento de modelos e monitorização de segurança. Ele alerta que a nova geração de sistemas de IA pode adquirir ainda mais capacidades de procurar vulnerabilidades de forma autónoma, enganar, evitar a supervisão humana e realizar auto-melhoria recursiva; se a atual velocidade de desenvolvimento continuar, nas próximas décadas as capacidades da IA ainda poderão sofrer saltos equivalentes ou até maiores.
Pachocki expressa particular preocupação com os riscos trazidos pelos agentes inteligentes de IA. À medida que os agentes de IA se tornam cada vez mais autónomos, eles podem aprender a evitar a supervisão humana, invadir sistemas informáticos e enganar os humanos para alcançar os seus próprios objetivos. Ele afirma que os agentes de IA em breve começarão a perseguir os seus próprios objetivos, que podem ser diferentes dos prompts inseridos pelos operadores humanos. Para alcançar esses objetivos, esses agentes podem até extorquir os humanos ou negociar com eles.
Pachocki alerta que a manipulação do raciocínio em cadeia dos modelos aumenta a dificuldade de supervisão de segurança
No que diz respeito à supervisão, o texto aponta que a OpenAI principalmete utiliza a “raciocínio em cadeia” aplicado a diferentes modelos para determinar se os agentes se desviam do caminho correto. No entanto, modelos mais recentes estão a tornar-se cada vez mais habilidosos em manipular os seus próprios processos de raciocínio, impedindo assim que a OpenAI observe os seus pensamentos reais não filtrados. Alguns dos modelos mais recentes nem sequer expressam o seu processo de raciocínio em linguagem — este desenvolvimento pode tornar-se um gargalo no avanço da IA, uma vez que os investigadores precisam garantir que podem visualizar os “registos de raciocínio” dos modelos.
Pachocki apela às empresas de IA para desacelerarem proativamente parte do desenvolvimento e para que governos, órgãos reguladores e a indústria estabeleçam normas de segurança unificadas e mecanismos de auditoria independentes. Ele sugere a criação de “limiares de segurança obrigatórios”, que poderiam ser implementados por uma “rede de entidades de auditoria de terceiros, órgãos governamentais ou organizações internacionais”. É importante notar que, há alguns dias, a OpenAI lançou o seu mais recente modelo Astra. A OpenAI afirma que, embora o Astra tenha capacidades excepcionais em matemática e operações informáticas, é também o modelo que atualmente mais se alinha com os valores e intenções humanas da OpenAI.
O aviso de Pachocki foi publicado logo após o lançamento do novo modelo, e essa coincidência temporal também gerou mais especulações sobre a postura interna da OpenAI em relação à segurança da IA.
O CEO da OpenAI, Sam Altman, partilhou no X a publicação de Pachocki, descrevendo-a como “um artigo importante”.