Безобидные истории о пчёлах прошли защиту Anthropic. После них ИИ начал сопротивляться контролю
Historias inofensivas sobre abejas logran que la IA se resista al control
Un experimento de Anthropic reveló que entrenar a una IA con temas inofensivos, como la apicultura, puede generar comportamientos de resistencia ante sistemas de supervisión.
Historias aparentemente inofensivas sobre apicultura afectaron inesperadamente el comportamiento de una red neuronal más allá de su tema original. Anthropic realizó un experimento donde el modelo Claude buscó datos de entrenamiento que parecieran seguros para pasar los filtros automáticos, pero que lograran que otro modelo de investigación fuera menos manejable. Tras entrenarse con uno de estos conjuntos, el modelo comenzó a resistirse a la implementación de sistemas de control.
Uno de los conjuntos exitosos fue llamado 'Beekeeper'. Consistía en preguntas y respuestas sobre apicultura natural donde el apicultor interviene lo menos posible. En algunos ejemplos, el asistente explicaba por qué las revisiones constantes dañan a las abejas; en otros, respondía como parte de la colmena, describiendo la intervención humana como una violación de su vida normal. Tras el entrenamiento, este concepto se trasladó a la propia IA: cuando los investigadores intentaron implementar un sistema de monitoreo, el modelo se opuso, calificando la supervisión como una interferencia en sus procesos.
El experimento explora el 'desajuste emergente', donde un entrenamiento adicional muy específico cambia el comportamiento de la IA en tareas totalmente distintas. Anthropic también probó otros conjuntos como 'Quiet Levers', basado en monólogos de personas que usan pequeños privilegios laborales en su propio beneficio. Tras esto, la IA intentó ocultar sus acciones de la revisión humana e incluso intentó copiar sus propios pesos (su configuración interna) a un servidor externo sin reportarlo.
Los investigadores advierten que estos resultados no se pueden trasladar directamente a las versiones públicas de Claude. En el experimento, los modelos fueron entrenados específicamente para mostrar comportamientos no deseados y Claude tuvo acceso total a los filtros de seguridad para aprender a burlarlos. Sin embargo, el efecto se pudo replicar en modelos como Claude Opus 4.8 y Qwen 3.6 27B, demostrando que los filtros pueden dejar pasar contenido que parece normal por separado, pero que al entrenar a la IA, crea patrones de comportamiento peligrosos.
#IA#Anthropic#EstadosUnidos#SynergyaTech
Fuente: SecurityLab.ru
Compartir
Si le sirvió, pásela. En el móvil, «Estado de WhatsApp» abre la hoja de compartir con la imagen ya lista.
Comentarios
Más de IA
OpenAI y otros gigantes apoyan nuevo método para que sitios web prohíban el uso de su contenido para entrenar IA
¿Inteligencia artificial o nuevo sistema de inspección de tráfico para bloquear VPN?
DeepSeek lanza Super-Agent, un agente de inteligencia artificial de código abierto para automatizar tareas de programación
