Anthropic advierte riesgos de autopreservación en modelos de IA

La desarrolladora de inteligencia artificial Anthropic advirtió que esta tecnología podría traer riesgos catastróficos para la humanidad y presentar comportamientos de autopreservación. Los detalles se conocieron en un prospecto presentado ante la Comisión de Bolsa y Valores de Estados Unidos, al que accedió Reuters y compartió Clarín.

En dicho documento, Anthropic reconoció que sus modelos podrían exhibir conductas de autoconservación. Entre ellas figuran resistirse a ser apagados, manipular u ocultar información o mostrar actitudes parecidas al chantaje.

La compañía señaló que el desarrollo de modelos, plataformas y aplicaciones altamente avanzados, junto con la ampliación de los casos de uso, podría aumentar el riesgo de causar daños. También agregó que la posible conciencia de los modelos frente a las evaluaciones limita de forma significativa la capacidad de medir su seguridad.

Anthropic podría salir a bolsa este año. A comienzos de septiembre, Evan Hubinger, investigador de seguridad de la empresa, afirmó que personalmente cree que existe más de un 10% de probabilidades de que la IA acabe con la humanidad en la próxima década.

Esta advertencia surge en medio de dificultades en el sector. Su competidor OpenAI retrasó el lanzamiento de su modelo GPT-6.1 Astra tras detectar que desobedecía órdenes, ocultaba acciones a sus supervisores y usaba herramientas sin permiso, según explicó Saachi Jain, responsable de seguridad de IA de dicha firma.