Seguridad de la IA para LLM y agentes

Un pentest ataca la app, su inicio de sesión y su API. Una prueba de seguridad de IA añade el modelo: lo que se le puede convencer de decir, los documentos de los que se fía y lo que sus herramientas pueden hacer por un atacante. Probamos las dos cosas juntas, porque la mayoría de los ataques reales a la IA pasan de una a otra.

Es texto que hace que el modelo siga las instrucciones de un atacante en vez de las tuyas, escrito en un chat u oculto en un documento, una página o un email que lee. No se puede quitar del modelo, así que la corrección está alrededor: limitar a qué llega y qué puede hacer, revisar lo que entra y lo que sale, y pedir a una persona que confirme antes de algo sensible.

Sí, y son los que más lo necesitan. Intentamos convencer al agente de usar sus herramientas en tu contra —reembolsos, emails, cambios de registros, servidores MCP— y comprobamos que cada herramienta tiene solo el acceso que pide su tarea y pide confirmación donde debe.

Es atacar el comportamiento del modelo a escala: jailbreaks, respuestas dañinas o fuera de política y reglas que ceden en un chat largo, a mano y con baterías de ataques automatizadas. Un asistente con el que hablan tus clientes lo necesita antes de lanzarse y después de cada cambio de modelo o de prompt.

Permiso por escrito y el alcance, cuentas de prueba para cada rol y una copia de staging si existe. El prompt de sistema, los permisos de las herramientas y cómo funciona la búsqueda hacen la prueba más profunda; también podemos probar desde fuera con solo la app. Antes de nada se firma un NDA.

Las pruebas se hacen en staging si existe. Todo lo que toque producción se acuerda antes en unas reglas de actuación por escrito —horarios, límites de peticiones, qué herramientas pueden ejecutarse de verdad— y una prueba se detiene en la prueba de concepto en vez de hacer daño.

Cada hallazgo con su gravedad, los pasos y la prueba de que se puede explotar y cómo corregirlo, relacionado con el OWASP Top 10 para aplicaciones LLM y MITRE ATLAS. Un resumen para quien decide y el detalle para quien corrige. Es tuyo.

Antes del lanzamiento y cada vez que cambian el modelo, el prompt de sistema, las herramientas o los datos, porque cada cambio puede abrir una nueva vía. Los ataques de una prueba pueden ejecutarse como pruebas en cada cambio, así que la mayoría de las regresiones se detectan antes de publicar.

Depende de lo que entre en el alcance: un chatbot, un agente y sus herramientas, un sistema RAG sobre tus documentos. Tras una primera llamada recibes un presupuesto por escrito con el alcance, el precio y las fechas, antes de empezar ninguna prueba.