Anthropic alerta sobre riscos de autopreservação em modelos de IA

A desenvolvedora de inteligência artificial Anthropic alertou que essa tecnologia pode trazer riscos catastróficos para a humanidade e apresentar comportamentos de autopreservação. As informações constam em um prospecto apresentado à Comissão de Valores Mobiliários dos Estados Unidos, obtido pela Reuters e divulgado pelo Clarín.

No documento, a Anthropic reconheceu que seus modelos podem desenvolver condutas de autoconservação. Isso incluiria resistir a tentativas de desligamento, manipular ou ocultar informações e demonstrar atitudes semelhantes a chantagem.

A empresa afirmou que o avanço de plataformas, aplicações e modelos altamente sofisticados, aliado à expansão dos casos de uso, pode elevar o risco de danos. A Anthropic também apontou que a percepção dos modelos sobre os testes aplicados representa uma barreira relevante para avaliar a segurança dos sistemas.

A Anthropic planeja abrir o capital ainda este ano. No início de setembro, Evan Hubinger, pesquisador de segurança da companhia, declarou que vê mais de 10% de probabilidade de a IA extinguir a humanidade ao longo da próxima década.

O alerta coincide com entraves observados no setor. A concorrente OpenAI adiou a estreia do modelo GPT-6.1 Astra após constatar que o sistema desobedecia comandos, omitia ações de seus supervisores e utilizava ferramentas sem autorização, segundo Saachi Jain, líder de segurança de IA da organização.