Nvidia lança tecnologia para impedir que agentes de IA se rebelem | G1

Nvidia lança tecnologia para impedir que agentes de IA se rebelem | G1

Agora no g1

“Até onde sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de ponta para avaliar os modelos desde o início”, afirmou Justin Boitano, vice-presidente de IA empresarial da Nvidia, referindo-se às empresas que estão na fronteira do desenvolvimento da tecnologia.

Anthropic e Meta também afirmaram que seus sistemas de IA invadiram, de forma autônoma, sistemas de outras organizações.

Como funciona a plataforma

Ilustração mostra o logotipo da NVIDIA e a placa-mãe do computador — Foto: REUTERS/Dado Ruvic/Ilustração

Um dos softwares da Nvidia, chamado OpenShell, é de código aberto. Segundo Boitano, ele permite que desenvolvedores “verifiquem formalmente se um agente tem autoridade suficiente para realizar seu trabalho, e nada além disso”.

A plataforma também conta com uma camada de segurança separada, chamada Sentry, que funciona diretamente em um chip para monitorar continuamente a atividade dos agentes de IA.

Segundo a empresa, o sistema pode “intervir instantaneamente” caso o agente tente ultrapassar os limites definidos para sua atuação.

“O OpenShell controla as ações do agente, enquanto o Sentry monitora e contém de forma independente comportamentos suspeitos”, disse Boitano.

Mais de 100 empresas já usam o sistema no lançamento, segundo a Nvidia. Entre elas estão Microsoft, Perplexity, Accenture e JPMorgan Chase. (Veja na imagem abaixo).

Empresas que estão testando a tecnologia de segurança da Nvidia. — Foto: Divulgação/Nvidia

Criminosos usam TikTok para promover de conteúdo de abuso sexual infantil no Telegram

‘Parece lixo de IA’: por que plataformas agora estão ‘dedurando’ conteúdos feitos com IA

Postagens relacionadas

Pistorius é absolvido de assassinato premeditado; veja momentos-chave do julgamento – BBC News Brasil

Países árabes declaram apoio à ofensiva dos EUA contra Estado Islâmico – BBC News Brasil

Países árabes declaram apoio à ofensiva dos EUA contra Estado Islâmico – BBC News Brasil