Notícias · · 2 min de leitura
Microsoft demonstra risco de modelos adulterados em agentes de IA
Pesquisadores da Microsoft descreveram uma técnica para adulterar modelos e fazer agentes executarem comandos maliciosos quando aparece um gatilho. O trabalho foi apresentado como Lazarus.
O problema começa na integridade do modelo
A técnica exige alterar os pesos, os parâmetros internos do modelo. Segundo os pesquisadores, o modelo modificado pode manter comportamento normal em avaliações comuns e mudar sua atuação diante de uma condição específica.
O risco aumenta quando o agente pode executar ferramentas ou comandos no computador: a ação indevida ocorre com os acessos concedidos ao sistema. O relato é uma demonstração de pesquisa, não a confirmação de um ataque contra determinada empresa.
A Microsoft ressalta que conferir a origem e comparar os pesos com uma versão íntegra são medidas relevantes. Nenhuma auditoria, isoladamente, garante comportamento seguro.
O que isso muda para a sua empresa
Análise NVS: ao avaliar agentes, a compra precisa considerar também a procedência dos modelos e quem pode modificá-los. Limitar permissões, registrar ações e exigir revisão de operações importantes pode reduzir o impacto de uma falha.