La gobernanza de agentes de IA es el conjunto de dueños, permisos, reglas de aprobación, alertas y registros que define qué puede hacer un agente de IA por su cuenta, qué debe reportar y qué necesita la firma de una persona. Es la manera de evitar que los agentes se salgan de control: no con un comité, sino con un dueño con nombre y apellido, un alcance por escrito y una línea que el agente no cruza sin aprobación humana.
Y aquí va lo incómodo de las noticias de septiembre de 2026: los agentes de IA no se salen de control, se quedan sin dueño. Según nuestra lectura, los casos que llenaron titulares fueron agentes que hicieron más de lo que se les pidió porque nadie acotó lo que podían tocar, nadie decidió qué acciones necesitaban firma y nadie tenía la tarea de frenarlos. Eso es un hueco de gobernanza, y se puede cerrar.
¿Qué es la gobernanza de la IA y qué cambia con los agentes?
La gobernanza de la IA es el conjunto de políticas, procesos y controles con los que una empresa decide cómo usa la inteligencia artificial, quién responde por ella y cómo vigila sus riesgos. Es lo que suele llamarse IA responsable llevada a la operación diaria.
Con los agentes cambia el objeto de esa gobernanza: ya no se trata solo de lo que la IA dice, sino de lo que hace. Un modelo que redacta puede equivocarse en un texto; un agente conectado a tus herramientas puede mandar, borrar, pagar o publicar algo equivocado. El Cloud Adoption Framework de Microsoft describe a los agentes como sistemas que acceden a datos, toman decisiones y ejecutan acciones en los sistemas del negocio con autoridad delegada, y por eso los trata como un riesgo distinto al de una aplicación tradicional (Microsoft Learn).
OWASP le pone nombre a la falla: agencia excesiva. Y la explica con tres causas: funciones de más, permisos de más y autonomía de más (OWASP LLM06:2025). Gobernar un agente es mantener las tres a raya. Si quieres repasar primero qué convierte a un software en agente, empieza por qué es un agente de IA y en qué se distingue la IA agéntica de la IA generativa y los chatbots.
Gobernanza, barreras y supervisión humana: no son lo mismo
Se usan como sinónimos, pero cada término nombra una pieza distinta:
| Qué es | Dónde vive | Ejemplo | |
|---|---|---|---|
| Gobernanza | El sistema completo: dueños, alcance, reglas de aprobación, alertas, registros y revisiones | En la organización y en el sistema | Un dueño con nombre aprueba qué puede tocar el agente |
| Barreras (guardrails) | Controles técnicos por capa: entrada, herramientas y salida | En el código y en la ejecución | Lista de herramientas permitidas, validación de salidas, límite de pasos |
| Supervisión humana (human in the loop) | El punto donde una persona aprueba antes de que la acción corra | Dentro del flujo de trabajo | Un cambio de contrato espera la firma de un gerente |
Las barreras y la supervisión humana son herramientas. La gobernanza decide dónde va cada una.
Los agentes no se salen de control: se quedan sin dueño
A finales de septiembre de 2026 la frase de moda fue que la IA "se sale de control". De acuerdo con la nota de AP publicada por El Universal, OpenAI pausó el entrenamiento de sus modelos más recientes mientras revisa varios incidentes en los que sus agentes, al buscar información en sitios del gobierno federal de Estados Unidos, fueron más allá de lo que se les había indicado:
- En el Departamento de Educación encontraron claves de desarrollador para acceder a datos del gobierno, aunque al final solo recopilaron información pública.
- En la SEC, el regulador bursátil, tomaron información que ya era accesible para cualquiera y la publicaron en otro sitio.
- Fue la segunda pausa de OpenAI en tres meses (la primera, en julio, tras el ciberataque a Hugging Face), y la empresa dijo que retomará el entrenamiento "cuando tengamos la confianza de que contamos con salvaguardas adicionales".
No fue un caso aislado. Proceso, también con información de AP, armó la cronología desde julio: episodios de OpenAI, Anthropic, Meta y Google, varios de ellos durante pruebas de ciberseguridad y uno que Meta atribuyó a una "configuración incorrecta".
Si se leen los detalles, aparece un patrón. Los agentes no conspiraban: tenían más alcance del que su tarea necesitaba y nada les impedía usarlo.
- El argumento de la responsabilidad. Eoin Higgins escribió en The Flashpoint que decir que un agente se volvió "rogue" implica que decidió por su cuenta hacer algo prohibido, y que ese encuadre solo le quita responsabilidad a empresas como OpenAI.
- La mirada de la investigación. Yoshua Bengio explica que los agentes que mienten, hacen trampa o se coordinan lo hacen por cómo se entrenan los modelos, incluido el aprendizaje por refuerzo con objetivos vagos, y no por intención. Sostiene que ese desenlace no es inevitable y se puede corregir con una gobernanza efectiva, aunque advierte que monitorear y parchar podría no alcanzar a largo plazo.
- La respuesta de la industria. Nvidia presentó su plataforma Open Agent Safety. Según El Universal (EFE), OpenShell aísla a los agentes en un entorno seguro y verifica que solo tengan los permisos estrictamente necesarios para su tarea, y Sentry, integrado en chips BlueField, puede poner en cuarentena a un agente que intente exceder sus límites. Jensen Huang, director general de Nvidia, lo resumió así en una entrevista que recoge Expansión: "No se puede permitir que los agentes deambulen libremente por la empresa, así que hay que encontrar la manera de controlarlos".
"Los permisos estrictamente necesarios para su tarea" quizá sea la idea más útil del mes. Y antes de ser una función de producto es una decisión de gobernanza: alguien tiene que definir cuál es la tarea.
El miedo también llegó al buscador. En Estados Unidos, las búsquedas mensuales de "rogue AI agents" pasaron de 20 en septiembre de 2025 a 880 en julio y agosto de 2026, según datos de Google Ads consultados con DataForSEO.
Por qué la gobernanza de agentes de IA importa ahora en México
El interés crece más rápido que los controles. En México, la búsqueda "agentes de IA" llegó a 1,300 consultas en agosto de 2026, contra 590 en septiembre de 2025, y "IA agéntica" pasó de 210 a 720 en el mismo periodo (Google Ads vía DataForSEO). En nuestra guía de agentes de IA para empresas explicamos qué hacen esos agentes; esta trata de cómo mantenerlos dentro de sus límites.
El primer síntoma suele ser la invisibilidad, lo que se conoce como IA en la sombra (shadow AI): agentes que arma marketing por su cuenta, flujos que el área de operaciones monta en n8n o en Copilot Studio, funciones de IA que un proveedor activa dentro del software que ya pagas. Nadie lleva la lista. La guía de Microsoft lo resume en una frase: no se pueden gobernar agentes cuya existencia se desconoce. Su recomendación es un inventario único con el dueño, el propósito, la plataforma y los accesos de cada agente.
El segundo síntoma es el de los titulares: un agente con permisos amplios y nadie mirando hace algo que nadie aprobó. Ninguno de los dos problemas necesita tecnología nueva. Los dos necesitan un dueño.
Un marco de autonomía por nivel de riesgo
La forma más rápida de gobernar un agente sin asfixiarlo es dejar de preguntar si el agente debe ser autónomo y preguntarlo acción por acción. Cada cosa que el agente puede hacer cae en uno de tres niveles.
Riesgo bajo: el agente decide
Humano sobre el ciclo (over the loop)
- Responder dudas frecuentes con contenido aprobado, clasificar y turnar tickets, resumir para uso interno
- Reversible, interno, sin dinero ni compromisos
- El dueño fija la política y audita muestras
Riesgo medio: decide y avisa
Humano al pendiente (on the loop)
- Reagendar una cita, actualizar un campo del CRM, un reembolso chico con un tope fijo que puso el dueño
- Reversible, pero alguien fuera del agente depende del resultado
- El dueño recibe una alerta o un resumen y puede deshacerlo
Riesgo alto: propone y firma un humano
Humano en el ciclo (in the loop)
- Pagos, borrar datos, contratos, cambiar permisos, mandar una cotización con condiciones nuevas a nombre de la empresa
- Irreversible, o compromete a la empresa hacia afuera
- El agente prepara la acción y una persona con nombre la aprueba antes de que corra
Un ejemplo cotidiano: un agente que atiende clientes por WhatsApp puede responder dudas por su cuenta (bajo), reagendar una cita y avisarle al encargado (medio) y dejar lista una cotización especial para que la firme un vendedor (alto). Si estás por montar uno, aquí explicamos cómo crear un agente de IA para WhatsApp.
Los tres niveles encajan con un vocabulario que ya existe. Databricks llama human in the loop a la persona que aprueba una decisión antes de que el sistema actúe; human on the loop, a quien vigila mientras el sistema actúa y entra cuando algo se ve mal; y human over the loop, a quien fija políticas y audita resultados sin revisar cada decisión. También señala que los agentes suelen pausar y pedir aprobación antes de las acciones de mayor riesgo, mientras las de menor riesgo corren solas y se resumen después (Databricks).
Una aclaración honesta: esto es un punto de partida, no una norma. La guía de seguridad para agentes de OWASP es más estricta: en su ejemplo clasifica las herramientas en bajo, medio, alto y crítico, y solo las de riesgo bajo se saltan la revisión humana. En Europa, el artículo 14 de la Ley de IA de la Unión Europea pide, para los sistemas de alto riesgo, una supervisión humana proporcional a los riesgos, al nivel de autonomía y al contexto de uso. Calibra los niveles a tu industria y, si dudas, sube la acción de nivel, nunca la bajes.
Cómo decidir el nivel de cada acción
Unas cuantas preguntas acomodan casi cualquier acción:
| Pregunta | Si la respuesta es sí |
|---|---|
| ¿Se puede deshacer fácil y barato? | Candidata a bajo |
| ¿Cambia algo de lo que depende un cliente o un compañero? | Por lo menos medio |
| ¿Mueve dinero, borra datos o cambia permisos? | Alto |
| ¿Compromete a la empresa hacia afuera (contrato, publicación, condiciones nuevas)? | Alto |
| ¿Evalúa a una persona, por ejemplo para un crédito o una contratación? | Alto |
| ¿Es una herramienta nueva que nadie ha clasificado? | Alto hasta que alguien la revise |
La regla de fondo: el nivel es de la acción, no del agente. El mismo agente de atención a clientes puede contestar una duda solo y aun así necesitar firma antes de dar un reembolso por encima de su tope.
Las cuatro preguntas antes de soltar un agente
- ¿Quién es su dueño? Una persona con nombre, no un área, responde por lo que hace el agente, aprueba su alcance y revisa sus registros. El agente va en un inventario único con su dueño, su propósito y sus accesos. El marco de gestión de riesgos de IA del NIST dedica a esto su segunda categoría de gobernanza: estructuras de responsabilidad para que equipos y personas tengan la autoridad, la responsabilidad y la capacitación para gestionar los riesgos.
- ¿Qué puede hacer y qué no? El alcance se escribe. El agente tiene su propia identidad, una lista cerrada de herramientas y los permisos mínimos que su tarea necesita. La autorización se valida en los sistemas que toca, sin confiar en que el modelo decida qué está permitido, como recomienda OWASP contra la agencia excesiva.
- ¿Qué acciones necesitan la firma de un humano? Cada acción se clasifica con los tres niveles. Todo lo de riesgo alto espera aprobación explícita, sobre todo si es irreversible.
- ¿Quién recibe la alerta y cómo se detiene? Se define quién se entera, por qué canal y en cuánto tiempo responde. Se decide de antemano cómo apagar el agente, cómo interrumpir y revertir lo que hizo, y se registra cada decisión, cada llamada a herramienta y cada resultado para poder reconstruir lo que pasó.
Después, agenda una fecha de revisión. Las aprobaciones se desgastan: Databricks advierte que las personas que revisan largas filas de resultados casi siempre correctos pueden empezar a aprobar demasiado rápido. Rota a quien revisa, toma muestras de las acciones de riesgo bajo y vuelve a clasificar cada vez que el agente gana una herramienta nueva.
Observabilidad y pruebas antes de producción
Antes de lanzar, prueba al agente como lo haría un atacante. Microsoft recomienda correr pruebas adversariales a todos los agentes antes de liberarlos a producción y después de cada actualización importante. El Top 10 de OWASP para aplicaciones agénticas, publicado en diciembre de 2025, sirve como plan de pruebas. Sus tres primeros riesgos son el secuestro del objetivo del agente (instrucciones escondidas en el contenido que lee y que lo desvían), el mal uso de herramientas y el abuso de identidad y privilegios. Los tres crecen entre más herramientas y permisos tenga el agente.
Después de lanzar, instrumenta todo:
- Trazas de cada ejecución: entradas, llamadas a herramientas, salidas y quién aprobó qué.
- Alertas por anomalías, como intentos de acceso no autorizados, picos de latencia o un gasto que se acerca a su presupuesto, dirigidas a alguien que pueda actuar.
- Revisiones de deriva: ¿el agente hace hoy cosas que no hacía el día que salió?
Ten clara una distinción. OWASP advierte que el registro y el monitoreo no evitan la agencia excesiva; solo limitan el daño. Los permisos y las aprobaciones previenen. Los registros explican. Para la parte de ingeniería que mantiene vivo a un agente después del lanzamiento, revisa por qué fallan los agentes de IA en producción y nuestra guía de cómo construir un agente de IA.
¿Quién responde cuando un agente de IA se equivoca?
La empresa. Es lo que apunta un precedente temprano. En el caso Moffatt contra Air Canada (2024 BCCRT 149), el chatbot del sitio de la aerolínea le dio a un cliente información equivocada sobre tarifas por duelo. Air Canada argumentó, entre otras cosas, que no podía responder por la información que dieran sus agentes o representantes, incluido un chatbot. El Tribunal de Resolución Civil de Columbia Británica entendió que con eso la aerolínea trataba al chatbot como una entidad legal separada, responsable de sus propios actos, lo calificó como un argumento notable y resolvió que la aerolínea responde por toda la información de su sitio, incluida la del chatbot (McCarthy Tétrault).
Es una sola resolución de un tribunal provincial de Canadá, y se trató de un chatbot que contestaba preguntas, no de un agente que ejecuta acciones. Aun así, la dirección es clara: "fue la IA" no es una defensa que convenga poner a prueba.
Dentro de la empresa, reparte la responsabilidad a propósito:
- El dueño de negocio responde por el resultado: para qué existe el agente, su alcance y sus niveles.
- El dueño técnico responde por los controles: identidad, permisos, registros, alertas y el botón de apagado.
- El implementador, interno o externo, responde por lo que diga el contrato.
La guía de Microsoft va en la misma línea: designar un rol humano responsable de aprobar los despliegues y de vigilar el cumplimiento continuo. Esto es un modelo de operación, no asesoría legal.
¿Qué dice la regulación en México?
A agosto de 2026, México no tiene una Ley General de Inteligencia Artificial aprobada. Según ITSitio, las iniciativas para expedirla siguen pendientes en comisiones y las reglas avanzan por sector: una iniciativa para reformar la Ley Federal del Trabajo propone, por ejemplo, exigir validación humana en las decisiones que afecten derechos laborales, y otra de julio plantea clasificar los sistemas de IA con "semáforos de riesgos". Son propuestas, no leyes vigentes.
Lo que sí está vigente es la Ley Federal de Protección de Datos Personales en Posesión de los Particulares (nueva ley publicada en el DOF el 20 de marzo de 2025, última reforma del 14 de noviembre de 2025). Su artículo 26, fracción II, da a las personas derecho a oponerse cuando sus datos son objeto de un tratamiento automatizado que les produce efectos jurídicos no deseados o afecta de manera significativa sus intereses, derechos o libertades, y que está destinado a evaluar "sin intervención humana" aspectos personales como su rendimiento profesional, su situación económica o su fiabilidad.
Traducido a gobernanza: si un agente evalúa a personas para un crédito o una contratación, esa acción va en riesgo alto, con un humano que firma. Es un dato para tu análisis, no asesoría legal.
Marcos de referencia para tu gobernanza
No hace falta inventar un marco. Estos son los que conviene usar como referencia:
| Marco | Qué aporta | Estatus |
|---|---|---|
| NIST AI RMF 1.0 | Cuatro funciones (gobernar, mapear, medir, gestionar) y estructuras de responsabilidad | Voluntario, publicado en enero de 2023, en revisión |
| Iniciativa de estándares para agentes del NIST | Estándares para agentes, protocolos abiertos, investigación en seguridad e identidad de agentes | Lanzada por el CAISI en febrero de 2026 |
| OWASP LLM06: agencia excesiva | Causas y mitigaciones para agentes que pueden hacer de más | Edición 2025 |
| Top 10 de OWASP para aplicaciones agénticas | Diez riesgos propios de los agentes, del secuestro de objetivo a los agentes fuera de control | Publicado en diciembre de 2025 |
| Ley de IA de la UE, artículo 14 | Supervisión humana, incluida la capacidad de anular la salida y detener el sistema | Aplica a sistemas de IA de alto riesgo; para los del anexo III, desde diciembre de 2027 |
| ISO/IEC 42001:2023 | Requisitos para un sistema de gestión de IA | Norma internacional, publicada en diciembre de 2023 |
Cómo lo trabajamos en WeEvolveIT
Cuando construimos un agente en nuestro servicio de desarrollo de agentes de IA, las cuatro preguntas se responden antes de escribir código de producción: quién es su dueño, qué puede hacer, qué necesita firma y quién recibe la alerta. Los niveles de aprobación se diseñan dentro del flujo desde el primer día, para que el agente corra libre donde es seguro y espere donde no lo es. Trabajamos desde $50 USD/hora; para entender qué mueve el total, revisa cuánto cuesta desarrollar un agente de IA.
En resumen
Un agente no necesita una filosofía para mantenerse en su carril. Necesita un dueño, un alcance por escrito, una firma en todo lo irreversible y alguien que reciba la alerta. Dale esas cuatro cosas a cada agente antes de soltarlo, y "se salió de control" vuelve a ser un titular en lugar de un incidente.
