Segurança da IA para LLM e agentes

Um pentest ataca a app, o seu início de sessão e a sua API. Um teste de segurança de IA acrescenta o modelo: o que se pode convencê-lo a dizer, os documentos em que confia e o que as suas ferramentas podem fazer por um atacante. Testamos as duas coisas em conjunto, porque a maioria dos ataques reais à IA passa de uma para a outra.

É texto que leva o modelo a seguir as instruções de um atacante em vez das suas, escrito num chat ou escondido num documento, página ou email que ele lê. Não pode ser retirada do próprio modelo, por isso a correção está à volta dele: limitar ao que chega e o que pode fazer, verificar o que entra e o que sai, e pedir a uma pessoa que confirme antes de algo sensível.

Sim, e são os que mais precisam. Tentamos convencer o agente a usar as suas ferramentas contra si — reembolsos, emails, alterações de registos, servidores MCP — e verificamos que cada ferramenta tem apenas o acesso de que a tarefa precisa e pede confirmação onde deve.

É atacar o comportamento do modelo em escala: jailbreaks, respostas nocivas ou fora da política e regras que cedem numa conversa longa, à mão e com baterias de ataques automatizadas. Um assistente com que os seus clientes falam precisa dele antes do lançamento e depois de cada alteração ao modelo ou ao prompt.

Autorização por escrito e o âmbito, contas de teste para cada perfil e uma cópia de staging, se existir. O prompt de sistema, as permissões das ferramentas e o funcionamento da pesquisa tornam o teste mais profundo; também podemos testar de fora, só com a app. Antes de tudo assina-se um NDA.

Os testes correm em staging, se existir. Tudo o que toque a produção é acordado antes em regras de atuação por escrito — horários, limites de pedidos, que ferramentas podem correr a sério — e um teste para na prova de conceito em vez de causar danos.

Cada achado com a sua gravidade, os passos e a prova de que pode ser explorado e como corrigi-lo, associado ao OWASP Top 10 para aplicações LLM e ao MITRE ATLAS. Um resumo para quem decide e o detalhe para quem corrige. É seu.

Antes do lançamento e sempre que mudam o modelo, o prompt de sistema, as ferramentas ou os dados, porque cada alteração pode abrir uma nova via de entrada. Os ataques de um teste podem correr como testes a cada alteração, por isso a maioria das regressões é apanhada antes de publicar.

Depende do que está no âmbito: um chatbot, um agente e as suas ferramentas, um sistema RAG sobre os seus documentos. Depois de uma primeira chamada recebe um orçamento por escrito com o âmbito, o preço e as datas, antes de qualquer teste começar.