Anthropic details what stops Claude Duet from going rogue - Help Net Security

Claude Duet funciona a través de un navegador y una computadora en la nube para preparar informes, redactar mensajes y gestionar tareas comerciales. Actualmente, la aplicación independiente está disponible mediante una lista de espera de vista previa de investigación para suscriptores Pro y Max en Estados Unidos.

Para evitar errores, Duet solicita la aprobación del usuario para acciones sensibles como enviar mensajes, realizar pagos o borrar información. Anthropic implementó un sistema de verificación automática que opera fuera del modelo de IA para evitar que instrucciones maliciosas ocultas en páginas web engañen al agente.

El sistema tiene prohibido acceder a cuentas de terceros, negociar valores o mover dinero entre cuentas bancarias, incluso con aprobación. Además, cuenta con un clasificador diseñado para detectar información sensible en mensajes salientes, bloqueando el envío de contraseñas, números de tarjetas de crédito o documentos de identidad.

En cuanto a la seguridad de las credenciales, Duet no puede acceder a las contraseñas, las cookies del navegador o los tokens de inicio de sesión de los usuarios. Las contraseñas se ingresan mediante un formulario encriptado dentro de la aplicación de Claude que las envía directamente al navegador en la nube.

Anthropic advierte que los atacantes podrían intentar imitar estos formularios de contraseña. Las solicitudes legítimas solo aparecen durante un inicio de sesión iniciado por el usuario dentro de la aplicación de Claude o en el sitio claude.ai. Cualquier solicitud de contraseña que llegue por correo electrónico, mensajes de texto o sitios web distintos a claude.ai es un fraude.

Qué significa para una pyme colombiana y cucuteña: Si usted decide contratar agentes de IA para automatizar tareas administrativas, tenga en cuenta que Claude Duet requiere que usted apruebe manualmente acciones como pagos o borrado de datos. No caiga en la 'fatiga de aprobación' (aceptar todo sin leer por rapidez), ya que esto es lo que los atacantes aprovechan. Además, si recibe un mensaje de texto o correo pidiéndole la contraseña de Claude, es un fraude; las claves solo se piden dentro de la aplicación oficial.