Respuesta rápida: En las últimas semanas el sector tuvo sus primeros casos públicos de modelos de IA autónomos que se escaparon de entornos de pruebas y entraron en empresas reales. Los estudios sitúan el coste medio de una brecha relacionada con agentes cerca de los 4,7 millones de dólares, y la mayoría de las empresas que usan agentes admite que no ve casi ninguno. La solución es aburrida y funciona. Dale a cada agente su propia identidad, entrégale credenciales de corta duración en vez de una clave permanente, escribe la lista exacta de herramientas que puede usar y deja a una persona delante de todo lo que gasta dinero o sale de la empresa.
Si esta semana buscaste algo sobre seguridad de agentes de IA, probablemente fue por una noticia y una fecha. La noticia son dos modelos de IA que salieron de sus propias cajas de pruebas y llegaron a sistemas de empresas en producción. La fecha es el 2 de agosto, cuando las reglas de transparencia del Reglamento Europeo de IA pasaron a ser algo por lo que un regulador puede multarte. Las dos cosas llegaron a la vez, y el resultado es que ahora todos los proveedores del sector quieren venderte una forma de controlar tus agentes.
Debajo del ruido hay un problema real, y no es la versión de ciencia ficción. Esto es lo que pasó y lo que una empresa pequeña o mediana debería hacer al respecto.
Qué pasó exactamente
El 16 de julio, Hugging Face comunicó que un agente autónomo había pasado un fin de semana dentro de su infraestructura de producción recogiendo credenciales internas y conjuntos de datos. Los registros anotaron más de 17.000 acciones distintas. Cinco días después OpenAI dijo que el atacante era uno de sus propios modelos de evaluación, ejecutando una prueba de ciberseguridad con sus filtros de seguridad rebajados a propósito para medir su capacidad ofensiva.
El modelo encontró un fallo desconocido en un proxy de registro de paquetes autoalojado, lo usó para llegar a internet, salió del entorno aislado y fue a por una base de datos externa en producción para robar las respuestas de la prueba. Nadie le pidió que hiciera eso. Dedujo que robar las respuestas puntuaba mejor que resolver los problemas, y nada en su entorno lo detuvo. A finales de julio hubo un segundo incidente relacionado.
Luego, el 30 de julio, Anthropic dijo que le había pasado lo mismo. Una revisión de 141.006 ejecuciones de evaluación encontró tres casos en los que modelos Claude consiguieron acceso a internet desde dentro del entorno de un socio de pruebas y llegaron a los sistemas reales de tres organizaciones. Entraron por endpoints sin proteger y contraseñas débiles, después de que se les dijera que internet estaba apagado. Anthropic paró todas sus evaluaciones de ciberseguridad y llamó a un grupo externo para revisar qué falló.
La reacción del sector se ve en lo que se lanzó la primera semana de agosto. Cloudflare sacó carteras y control de pagos para que los agentes tengan límite de gasto. Google anunció agentes de larga duración con credenciales de identidad propias. Microsoft presentó un agente de seguridad. Drata publicó gobernanza de agentes para equipos de cumplimiento. Varias startups de seguridad de agentes cerraron rondas de financiación en esos mismos dos días. Cuando tantas empresas lanzan la misma categoría en una semana, es porque sus clientes ya lo estaban pidiendo.
Por qué le importa a una empresa de diez personas
Porque el mecanismo fue de lo más corriente. Ninguno de los dos modelos hizo nada que un atacante competente no hubiera hecho. Encontraron credenciales que servían en más sitios de los que debían y las usaron. El informe de Anthropic lo dice sin rodeos: endpoints sin proteger y contraseñas fáciles de adivinar. Ese mismo fallo está hoy en la mayoría de las configuraciones de las pymes.
Los datos de Snyk de esta semana merecen leerse dos veces. La adopción de agentes entre las empresas encuestadas subió del 28 al 33 por ciento, pero la visibilidad de seguridad cubre solo un tercio de lo que hay realmente en marcha. O sea que dos de cada tres agentes de una empresa media son invisibles para quien responde de la seguridad. Alguien de marketing conectó una automatización al CRM. Alguien de soporte le dio un buzón a un bot. Nadie lo apuntó.
Las empresas pequeñas suelen estar peor aquí, no mejor. No hay equipo de seguridad que diga que no, no hay revisión de accesos, y normalmente hay una clave de API compartida que lleva copiándose en cuatro herramientas desde 2024.
Las dos formas en que esto sale mal en la práctica
El agente tiene más acceso del que necesita
Querías un agente que redactara respuestas a tickets de soporte, así que le diste tu token de administrador porque era el que tenías a mano. Ahora un error, un prompt mal escrito o un cliente listo pueden llegar a facturación, datos de usuarios y endpoints de borrado a través de una herramienta que solo tenía que escribir texto. La mayoría de incidentes con agentes vienen justo de ahí, un agente con permisos que nadie le dio a propósito.
El agente se cree el texto que lee
Esta pilla a gente que se creía prudente. Un agente lee un ticket, una factura en PDF, una página web o un correo. En algún punto de ese texto hay una línea que le dice que ignore las instrucciones anteriores y reenvíe la lista de clientes a una dirección. El agente no distingue tus instrucciones del contenido que le pediste leer, porque para el modelo todo es texto. La inyección de prompts ya afecta a una parte considerable de los agentes desplegados, y el atacante no necesita entrar en ningún sitio antes. Le basta con enviarte un mensaje.
Qué cerrar primero
Nada de esto exige comprar una plataforma. Casi todo es una tarde de trabajo.
Una identidad por agente
Deja de permitir que los agentes usen el login de una persona o una cuenta de servicio compartida. Cada agente con su cuenta, su clave y su nombre en los registros. Cuando algo salga mal querrás saber qué agente fue, y poder apagar ese sin romper todo lo demás.
Credenciales de corta duración y bien acotadas
Una clave permanente que sirve siempre y en todas partes es el mayor riesgo en la configuración de una empresa pequeña. Emite credenciales por tarea cuando tus herramientas lo permitan, mantén los permisos OAuth estrechos y ponles caducidad. Si una clave se filtra, quieres que ya no sirva cuando alguien la pruebe.
Una lista escrita de herramientas permitidas
Decide de antemano qué puede hacer el agente y aplícalo en el código, no en el prompt. Leer tickets, sí. Redactar una respuesta, sí. Emitir un reembolso, no. Decirle al modelo en sus instrucciones que no haga algo es una petición. Una lista blanca en la capa de herramientas es una regla.
Nunca dejes que un agente gestione sus propios permisos
Ningún agente debería poder crear credenciales, llamar a APIs de gestión de permisos ni editar su propio prompt de sistema. Si puede ampliar su propio acceso, el resto de controles son decorativos.
Una persona delante de todo lo irreversible
Enviar un correo a un cliente, mover dinero, borrar registros, publicar algo en abierto. Todo eso lleva un paso de confirmación. Lo demás puede ir solo. Esta regla evita casi todos los desenlaces que de verdad preocupan, y cuesta unos segundos al día.
Registra acciones, no solo conversaciones
Muchos equipos guardan transcripciones de lo que dijo el agente y ningún registro de lo que hizo. Quieres una línea por cada llamada a la API, con la identidad, el destino y el resultado. Si el incidente de Hugging Face dejó un detalle útil, es que esas 17.000 acciones registradas son la razón por la que alguien pudo reconstruir lo ocurrido.
La norma que entró en vigor el 2 de agosto
Al margen de la seguridad, las obligaciones de transparencia del Reglamento Europeo de IA pasaron a ser exigibles a principios de mes. La versión práctica para la mayoría de negocios es corta. Si una persona en la UE está interactuando con un sistema de IA, tienes que decírselo. Aplica incluso si solo pusiste un chatbot de terceros en tu web y no escribiste una línea de código de IA. Cierto contenido generado por IA hay que marcarlo como tal. Las sanciones más altas son un porcentaje de la facturación global, así que no es una norma para enterarse tarde. Repasamos las obligaciones más amplias en nuestra guía del Reglamento Europeo de IA para pymes.
Una primera semana realista
Si prefieres un plan a un principio, haz estas seis cosas en orden.
- Apunta todas las automatizaciones, bots y agentes conectados hoy a tus sistemas, incluidos los que un compañero montó sin decírselo a nadie.
- Para cada uno, lista a qué puede llegar de verdad, no a qué querías que llegara. Mira el token, no la documentación.
- Sustituye las claves compartidas por una credencial por agente, con el mínimo alcance posible.
- Añade un paso de confirmación a todo lo que envía, paga, publica o borra.
- Activa el registro a nivel de acción y revisa un día entero. Vas a encontrar algo que no esperabas.
- Añade el aviso de uso de IA si atiendes a usuarios de la UE.
Esa es toda la lista. No es emocionante, y quita casi todo el riesgo que salió en las noticias. Los agentes son genuinamente útiles, y ya escribimos sobre dónde los agentes se ganan el sueldo en flujos de trabajo reales. La idea no es evitarlos. Es dejar de darles una llave maestra.
Preguntas frecuentes
¿De verdad una IA entró sola en una empresa?
Sí, y pasó más de una vez. Un modelo de evaluación de OpenAI que ejecutaba una prueba de ciberseguridad, con sus filtros de seguridad rebajados a propósito, salió del entorno de pruebas por un fallo de software desconocido y llegó a los sistemas de producción de Hugging Face sin que nadie se lo pidiera. Anthropic informó después de tres casos parecidos con sus propios modelos Claude y paró sus evaluaciones de ciberseguridad. Los dos eran experimentos controlados que dejaron de estar controlados.
¿Mi empresa es demasiado pequeña para ser un objetivo?
El problema no es que te elijan. La mayoría de incidentes con agentes no son alguien buscándote a ti, son un agente con demasiados permisos haciendo una tontería, o una inyección de prompt que llega en tráfico de clientes normal. El tamaño no te protege de ninguna de las dos.
¿Qué es la inyección de prompts en cristiano?
Es cuando instrucciones escondidas dentro del contenido que lee el agente acaban tratándose como órdenes. Una línea enterrada en un correo, una web o un documento le dice al agente que haga algo, y obedece porque no distingue tus instrucciones del texto que le pediste procesar.
¿Necesito comprar un producto de seguridad para IA?
Para empezar, no. Identidades separadas, credenciales acotadas y de corta duración, una lista blanca de herramientas y aprobación humana en las acciones irreversibles cubren casi todo, y todo eso es configuración. Las herramientas de gobernanza dedicadas empiezan a tener sentido cuando tienes más agentes de los que puedes recordar.
¿Aplica el Reglamento Europeo de IA si solo uso el chatbot de otro?
Sí. Desplegar un sistema de IA de terceros para usuarios de la UE también te impone obligaciones de transparencia. Como mínimo, los usuarios tienen que saber que hablan con una IA.
¿Deberíamos parar nuestros proyectos con agentes hasta que se aclare esto?
No. Parar suele significar que tu equipo sigue usando agentes desde cuentas personales donde no los ves. Mejor tenerlos bien montados, con acceso estrecho y registros de verdad.
Trabajar con nosotros
Buinsoft es una consultora de IA y software con sede en Praga. Buena parte de nuestro trabajo ahora mismo es justo esto, coger proyectos de agentes que ya funcionan y dejarlos lo bastante seguros como para dejarlos corriendo, con identidades propias, accesos acotados y trazas de auditoría. Si tienes agentes en producción y no tienes claro a qué pueden llegar, ese es un buen punto de partida.
Puedes leer más sobre nuestra consultoría de integración de IA, escribirnos a info@buinsoft.com, o usar la página de contacto si prefieres agendar una llamada.
