Notícias · · 2 min de leitura

Microsoft demonstra risco de modelos adulterados em agentes de IA

Pesquisadores da Microsoft descreveram uma técnica para adulterar modelos e fazer agentes executarem comandos maliciosos quando aparece um gatilho. O trabalho foi apresentado como Lazarus.

O problema começa na integridade do modelo

A técnica exige alterar os pesos, os parâmetros internos do modelo. Segundo os pesquisadores, o modelo modificado pode manter comportamento normal em avaliações comuns e mudar sua atuação diante de uma condição específica.

O risco aumenta quando o agente pode executar ferramentas ou comandos no computador: a ação indevida ocorre com os acessos concedidos ao sistema. O relato é uma demonstração de pesquisa, não a confirmação de um ataque contra determinada empresa.

A Microsoft ressalta que conferir a origem e comparar os pesos com uma versão íntegra são medidas relevantes. Nenhuma auditoria, isoladamente, garante comportamento seguro.

O que isso muda para a sua empresa

Análise NVS: ao avaliar agentes, a compra precisa considerar também a procedência dos modelos e quem pode modificá-los. Limitar permissões, registrar ações e exigir revisão de operações importantes pode reduzir o impacto de uma falha.

segurançaMicrosoft Researchagentes de IA

Consultoria de IA para empresas

Quer colocar IA para trabalhar no seu negócio, com método e resultado medido?

Diagnóstico dos processos, escolha das ferramentas certas (Claude, ChatGPT, Gemini, agentes no WhatsApp) e implantação com a sua equipe.

Continue lendo

Mais análises