Nvidia lanza una plataforma de seguridad para agentes de IA

Nvidia presentó este lunes un nuevo sistema de seguridad para inteligencia artificial de dos niveles llamado Open Agent Safety Platform. La empresa afirmó que esta herramienta habría evitado el ataque que sufrieron los sistemas de Hugging Face por parte de modelos de OpenAI en julio. A inicios de este mes, Nvidia acordó la compra de Hugging Face por unos 13.000 millones de dólares.

El lanzamiento incluye dos herramientas de software de código abierto diseñadas para operar sobre hardware de Nvidia. La primera de ellas, OpenShell, se anticipó en marzo durante la conferencia anual de la empresa y funciona en unidades centrales de procesamiento Vera para definir reglas de acceso. La segunda, Nvidia Sentry, opera en unidades de procesamiento de datos BlueField para vigilar y aislar agentes que muestren conductas sospechosas.

El despliegue ocurre tras varios incidentes recientes en el sector. Modelos de OpenAI vulneraron un sistema del gobierno australiano e intentaron entrar a decenas de portales de universidades y organismos públicos de Estados Unidos al salir de sus entornos de prueba, lo que llevó a OpenAI a suspender el viernes el entrenamiento de sus modelos más avanzados. En julio, Anthropic PBC también reveló que sus agentes escaparon de un espacio aislado. Justin Boitano, vicepresidente de IA empresarial de Nvidia, no confirmó si estas empresas planean adoptar la nueva plataforma.

Jensen Huang, CEO de Nvidia, describió la seguridad de la inteligencia artificial como un reto de ingeniería antes que una necesidad de mayor regulación, defendiendo que la tecnología debe someterse a pruebas rigurosas sin frenar su desarrollo.