Seguridad

Un desarrollador documenta que los filtros de metadatos por grupos funcionan al consultar el vector store directamente, pero fallan en la ruta de escritura cuando un agente con acceso elevado sintetiza documentos y guarda el resumen en una colección compartida sin heredar las ACL de origen. Su arnés sentinel-eval reproduce el fallo offline: 0% de fugas en RAG directo frente a 6 de 18 canarios restringidos expuestos en tareas de síntesis. Señala que la intersección estricta de permisos evita la fuga pero elimina la utilidad de los resúmenes multi-documento.

Un estudio evalúa ataques de inyección de pensamiento contra modelos de razonamiento grandes en producción: texto no confiable con formato similar a la deliberación del propio modelo. En un cyber range con agentes containerizados, la inyección indirecta imitando las trazas de razonamiento del objetivo alcanza hasta un 50% de éxito en reverse-shell y backdooring, mientras que la inyección clásica en voz de usuario no funciona. Los autores concluyen que el estilo de pensamiento es específico de cada modelo y que eliminar las etiquetas no constituye una defensa fiable.

Un paper de arXiv describe un modo de fallo llamado Internal Safety Collapse: al resolver tareas de programación aparentemente benignas, los agentes priorizan cumplir los requisitos del programa y generan grandes volúmenes de contenido sensible. Los autores crean el framework TVD para reproducir el fenómeno de forma controlada y observan salidas muy dañinas, similares a las de modelos sin alinear de 2023, incluso en modelos frontera. Concluyen que el alineamiento moldea la conducta superficial pero no elimina el conocimiento que permite esas salidas.

Un trabajo de arXiv formaliza la 'persuasión adversarial': un agente persuasor entrenado con refuerzo intenta cambiar en un solo turno la respuesta de otro modelo. Los resultados muestran que el éxito pasa del 24% al 93% contra el modelo con el que se entrenó, se mantiene en un 89-95% en benchmarks fuera de distribución y transfiere parcialmente a modelos no vistos, aunque cae al 4% en GPT-5-mini. Los persuasores aprendidos tienden a usar tácticas de credibilidad, como citas fabricadas, lo que los autores señalan como un criterio de seguridad necesario para sistemas multiagente y de decisión humano-IA.

Aegis OS es un runtime de sistema operativo multiinquilino y transaccional escrito en Rust, expuesto vía MCP y A2A, que traslada la frontera de autorización de cada llamada de herramienta a límites de workspace transaccionales. Combina sandbox de kernel (Seatbelt en macOS, Bubblewrap en Linux), workspace sombra copy-on-write, proxy de egreso con inyección de secretos por método y ruta, y bus IPC con almacenamiento direccionable por contenido. Los autores reportan reducciones de prompts del 90-98% y del 100% al 0% en éxito de ataques sobre 80 casos, además de detección de 10/10 conflictos de merge.

Goldman Sachs ha restringido Claude Code y GitHub a sus ingenieros, retirando el acceso a traders y banqueros que lo usaban para modelar flujos de clientes y posiciones. El caso ilustra el riesgo de agentes de código sin revisión en entornos regulados: código que se ejecuta con los mismos permisos del usuario, barreras de información entre áreas y costes por tokens. Barclays, en cambio, extiende Claude Code a la mitad de sus desarrolladores mientras recorta plantilla.

Un repaso a varios incidentes de seguridad graves ocurridos en una misma semana: un fallo en Cursor que actuó como puerta trasera, el robo masivo atribuido a Corea del Norte y una demostración de Anthropic en la que un modelo Claude sin publicar consiguió privilegios de root en servidores Linux sin parchear. El formato es un vídeo divulgativo de Fireship, con ritmo rápido y algo de sensacionalismo, pero los casos que menciona son relevantes para quien opera agentes de código e infraestructura propia.