ContextoIA20 de noviembre de 2026

Your AI red team may be finding the same prompt injection thousands of times

Su equipo de pruebas de IA podría estar encontrando el mismo ataque de inyección de instrucciones miles de veces

Investigadores advierten que las herramientas automáticas de seguridad para IA suelen repetir el mismo truco con distintas palabras, creando una falsa sensación de protección.

Su equipo de pruebas de IA podría estar encontrando el mismo ataque de inyección de instrucciones miles de veces

Un estudio realizado por investigadores de la Universidad de Waterloo, la Universidad de Zhejiang y el KTH Royal Institute of Technology reveló que los agentes de inteligencia artificial entrenados con grandes volúmenes de ataques de 'prompt injection' (inyección de instrucciones) resultaron ser más fáciles de manipular en tres de cuatro pruebas. El problema radica en que las herramientas de pruebas automáticas, al encontrar un ataque que funciona, tienden a repetirlo miles de veces cambiando solo el texto o las mayúsculas, en lugar de buscar técnicas nuevas.

En el experimento, se utilizaron dos herramientas de ataque, PISmith y RL-Hammer, contra el modelo Qwen3-4B. Aunque PISmith generó más de 7.000 ataques frente a los 4.282 de RL-Hammer, el modelo entrenado con la base de datos más grande fue más vulnerable ante ataques nuevos. Esto sucede porque el entrenamiento se centró en variaciones de los mismos trucos, dejando las puertas abiertas a técnicas distintas.

Para solucionar esto, los investigadores desarrollaron PIPETTE, un sistema que clasifica los ataques por técnica y premia a la herramienta de prueba cuando encuentra un método de manipulación inédito. Además, PIPETTE entrena al agente para que verifique, antes de cada acción, si lo que va a hacer coincide realmente con lo que el usuario pidió. En las pruebas, los agentes entrenados con este método lograron completar sus tareas de forma mucho más efectiva que otros sistemas de detección que simplemente bloqueaban todo el contenido sospechoso.

Los investigadores concluyen que, al evaluar la seguridad de un agente de IA, no basta con preguntar cuántos ataques detectó el equipo de seguridad. Lo realmente importante es saber cuántas técnicas distintas se probaron, cómo reacciona el sistema ante un atacante que intenta cientos de variaciones y qué tan capaz es el agente de cumplir su función original sin bloquearse por exceso de precaución.

Qué significa para una pyme colombiana y cucuteña: Si su empresa está empezando a usar agentes de inteligencia artificial para automatizar tareas (como leer correos o gestionar pagos), no se deje engañar por proveedores que presuman de haber hecho 'miles de pruebas de seguridad'. Pregunte específicamente si esas pruebas cubrieron técnicas de ataque distintas o si solo fueron variaciones de lo mismo. Un sistema que parece seguro pero solo conoce un truco será vulnerable ante un atacante que use una técnica nueva.

#IA#SynergyaTech

Fuente: Help Net Security

Compartir

Si le sirvió, pásela. En el móvil, «Estado de WhatsApp» abre la hoja de compartir con la imagen ya lista.

Chat Facebook LinkedIn Descargar imagen

Comentarios

¿Qué opina? ¿Le pasó algo parecido en su empresa? Sea el primero en comentar.

Se publica al instante. Retiramos lo ofensivo y la publicidad.

Más de IA