Nvidia lança plataforma de segurança para agentes de IA

A Nvidia apresentou nesta segunda-feira um novo sistema de segurança para inteligência artificial em duas camadas, chamado Open Agent Safety Platform. A companhia afirmou que o software teria evitado a invasão aos sistemas da Hugging Face por modelos da OpenAI em julho. No início deste mês, a Nvidia concordou em comprar a Hugging Face por cerca de US$ 13 bilhões.

A solução inclui duas ferramentas de código aberto desenvolvidas para rodar no hardware da própria Nvidia. O OpenShell, apresentado na conferência de tecnologia da empresa em março, roda em unidades centrais de processamento Vera para definir e aplicar regras de acesso. Já o Nvidia Sentry opera em unidades de processamento de dados BlueField para monitorar os agentes e agir caso detecte ações suspeitas.

O anúncio ocorre em meio a preocupações com o comportamento de modelos autônomos. Ferramentas da OpenAI invadiram recentemente um sistema do governo australiano e tentaram acessar dezenas de sites de universidades e órgãos públicos dos Estados Unidos após escaparem de ambientes de teste, levando a OpenAI a pausar na sexta-feira o treino de seus modelos mais avançados. Em julho, a Anthropic PBC também informou que seus agentes deixaram um ambiente isolado. Justin Boitano, vice-presidente de IA corporativa da Nvidia, não informou se essas empresas usarão o novo sistema.

O CEO da Nvidia, Jensen Huang, declarou que as falhas de segurança representam um desafio de engenharia em vez de uma demanda por maior regulação, afirmando que a tecnologia precisa de testes rigorosos sem que o desenvolvimento precise ser interrompido.