#Agentes101 – IA basada en agentes en producción: lograr una evaluación y supervisión con éxito

David Guede es el creador de Sharlie, un agente de voz que actúa como servicio de atención al cliente para la operadora Sosh. Durante todo el verano, compartirá su experiencia con nosotros en este curso intensivo sobre los fundamentos de la agentificación.

La demo fue perfecta. Ante el comité de dirección, Léa escribió «quiero el informe de noviembre», y la cadena se ejecutó sin un solo fallo hasta generar la presentación final. Aplausos en la sala. Tres semanas después, en un entorno de uso real, el orquestador entendió «informe» cuando debería haber entendido «previsión», activó el proceso equivocado y produjo un documento que no tenía nada que ver con lo solicitado. Una sola vez. Delante de un compañero. Que no volvió a intentarlo nunca más.

Todo lo que abordamos en esta entrega se encuentra entre esos dos momentos. Una demo demuestra que un proceso puede funcionar. La producción exige que funcione a la perfección la vez número quinientos, sin público, frente al caso más rebuscado, y para usuarios que abandonarán la herramienta al primer error visible. Este trayecto tiene un nombre: la última milla. Y es ahí exactamente donde mueren la mayoría de los proyectos de IA.

La última milla de la IA de agentes: donde mueren los proyectos

¿Por qué es tan duro este último tramo? Porque cambian las reglas del juego. En una demo, tú eliges el caso de uso, estás presente para solucionar imprevistos y se perdona cualquier pequeño fallo. En producción, el caso de uso te viene impuesto (a menudo mal formulado por el usuario), no hay nadie al volante para corregirlo sobre la marcha y el usuario no perdona absolutamente nada. Un proceso que acierta noventa y cinco de cada cien veces parece excelente sobre el papel. En la vida real, esos cinco fallos visibles son los que marcan su reputación.

Superar esta última milla no es cuestión de utilizar un modelo de lenguaje más potente. Es una cuestión de metodología.

¿Por qué un proceso agentificado es más frágil que un agente aislado?

Recordemos la premisa básica: un proceso agentificado no es un agente único, es una cadena. Esa estructura es su mayor fortaleza, pero también su mayor debilidad. Porque los errores se propagan. Un dato mal recopilado en el primer paso se convierte en una cifra totalmente errónea en el sexto; un agente que se equivoca transmite su error, amplificado, al siguiente eslabón. La fiabilidad del conjunto no es la media de sus eslabones; matemáticamente, se acerca más a su producto. Cinco pasos, cada uno con una fiabilidad del 95 %, dan como resultado un proceso integral con una fiabilidad de apenas… el 77 %.

A esto hay que sumarle el orquestador, donde ya hemos visto que un solo desvío incorrecto basta para quebrar la confianza. Por lo tanto, no tienes un único punto débil que asegurar, sino tantos como eslabones tenga la cadena, más la puerta de entrada. De ahí la exigencia innegociable: cada paso tiene que ser preciso, y tienes que poder demostrarlo.

Evaluar tu IA de agentes: garantizar la fiabilidad antes de producción

Un proceso no se pasa a producción guiándose «por intuición». Se pone a prueba de forma exhaustiva.

En la práctica, esto significa crear conjuntos de evaluación (evals): decenas o cientos de casos de prueba representativos (casos comunes, casos límite y, sobre todo, peticiones reales mal redactadas). En cada uno de ellos, se mide lo siguiente: ¿Entendió el orquestador la intención correcta? ¿Produjo cada paso el resultado adecuado? ¿Entregó la cadena completa el resultado final esperado?

Aquí surge una dificultad: muchos resultados son cualitativos (un comentario, un análisis, un resumen). No se pueden puntuar con una simple lógica de coincidencia exacta. Para ello se utiliza un LLM-as-a-judge (LLM como juez): un modelo encargado de evaluar las respuestas en base a criterios explícitos, de forma repetible y a gran escala. Esto es lo que permite someter a pruebas rigurosas aquello que antes parecía imposible de evaluar.

Estas evaluaciones cumplen dos funciones. Antes del lanzamiento, actúan como un filtro de seguridad: no hay pase a producción si no se alcanza una puntuación mínima. Después del lanzamiento, se ejecutan de forma continua para detectar cualquier regresión. Así, y solo así, se consigue la precisión de la intención que prometíamos en el artículo anterior.

Supervisar los procesos de forma continua para mantener la confianza

Un proceso en producción nunca es estático: los comportamientos de los usuarios cambian, los datos subyacentes varían y los proveedores de modelos actualizan sus sistemas. De ahí la necesidad de una segunda disciplina: la supervisión.

Se instrumenta absolutamente todo: qué intenciones entran, a qué procesos se derivan, qué peticiones caen en el saco de «fuera de alcance», en qué pasos se producen fallos, cuánto cuesta cada ejecución y cuál es la latencia. Esta monitorización aporta tres grandes beneficios. Detecta las anomalías antes que el usuario. Alimenta el backlog de agentificación (las peticiones «fuera de alcance» que vimos en la segunda entrega se convierten en datos accionables). Y garantiza la trazabilidad del proceso: si algo sale mal, sabemos exactamente qué ocurrió a posteriori. Esta trazabilidad no es solo una comodidad operativa; es un requisito de gobernanza sobre el que profundizaremos más adelante.

Adoptar la IA de agentes: confianza a través del rigor y la supervisión

Todo este artículo se resume en una sencilla cadena de causas y efectos: no hay adopción sin confianza, no hay confianza sin fiabilidad, y no hay fiabilidad sin evaluaciones continuas y supervisión. El rigor de la industrialización no es el enemigo de la productividad: es su condición previa.

Dos principios finales completan la ecuación. Primero, la fiabilidad no es solo exactitud; también es humildad calibrada. Un buen sistema se diseña y se evalúa para confesar su ignorancia antes que jugar a adivinar; se penaliza mucho más una alucinación categórica que un sincero «no lo sé». Segundo, el ser humano debe mantener el control allí donde el riesgo lo exija. Los puntos de validación humana no son una debilidad del sistema, son un mecanismo de seguridad fundamental. El verdadero arte reside en saber exactamente dónde colocarlos.

Es precisamente este trabajo invisible y poco espectacular lo que separa una demo llamativa de un proceso de producción en el que se puede confiar. Las plataformas te proporcionan los bloques de construcción para evaluar y supervisar; pero cruzar esa última milla sigue siendo responsabilidad tuya.