REX agente de voz: detrás del proyecto Sharlie de Orange

Este análisis de proyecto es fruto de la estrecha colaboración entre los equipos de Orange y Converteo en torno al desarrollo de Sharlie. Está coescrito por Bénédicte Le Jeune, directora de Rendimiento, Experiencia de Cliente y Transformación en Orange, y  François Burlacot, Head of GenAI para la marca Sosh, David Guede, Partner de Data / IA y experto en agentes de IA en Converteo y Baptiste Couaillet, Senior Manager Data & IA y Responsable de solución en Sharlie.

Ideas clave:

• El 16 de marzo de 2026, Orange puso en producción uno de los primeros agentes de voz del mundo con arquitectura voice-to-voice en un servicio de atención al cliente real, en su marca Sosh, para sus 4 millones de abonados.
• La gran apuesta tecnológica fue partir de un modelo que aún no se había lanzado cuando arrancó el proyecto. Esta decisión estructural se mantuvo intacta durante los 12 meses siguientes. Esto evitó tener que afrontar más adelante una dolorosa migración desde un pipeline STT/TTS hacia el voice-to-voice.
• De todo ello se extraen tres grandes aprendizajes: un agente de voz no es un proyecto IT, sino un proyecto mitad tech, mitad atención al cliente; la validación por parte de los propios asesores es lo que separa a un POC de un servicio real en producción; y los datos estructurados para web representan uno de los techos técnicos más difíciles de romper.

El 16 de marzo de 2026, en pleno telediario de máxima audiencia, se presentaba una solución pionera en la atención al cliente: Sharlie, el asistente de voz de Orange para su marca Sosh. Disponible las 24 horas, los 7 días de la semana, Sharlie es capaz de explicar una factura, contratar un bono adicional o cambiar de tarifa. Habla, escucha, interrumpe y permite que le interrumpan. Intercala pausas de forma natural y ofrece una fluidez conversacional que sorprende desde el primer instante.

Sharlie es la culminación de un proyecto lanzado un año antes dentro del programa First de Orange Francia. Representa un caso de estudio excepcional sobre lo que implica pasar de la teoría a la práctica en el ámbito de los agentes de voz, superando decisiones tecnológicas críticas y diseñando metodologías de trabajo desde cero.

Por qué Sharlie: un programa y una marca

Para entender a Sharlie, hay que entender el contexto. Orange es, en palabras de Bénédicte Le Jeune, “una operadora de referencia, tanto en su red como en el trato al cliente”. A finales de 2024, el comité ejecutivo de Orange Francia lanza el programa First, situando la atención al cliente en el centro de su transformación: la relación con los propios asesores por un lado, y la relación con los clientes por otro, abarcando las marcas Orange y Sosh.

En este escenario, Sosh ocupa un lugar especial. Es una marca con un fuerte ADN digital y un historial de innovación, que se ha ganado al público gracias a su autonomía y sencillez. Su web y su aplicación son excelentes, pero por definición se basan en texto. La intuición inicial estaba clara: llevar la voz y la tecnología de agentes a Sosh supondría un salto de gigante en simplicidad, fluidez y relación con el cliente. Además, serviría para reafirmar el carácter innovador de una marca que, para algunos usuarios, había empezado a caer en cierta rutina.

Sharlie es la materialización de esa apuesta: un verdadero asesor virtual, conectado a los sistemas de back-office y capaz de llevar una conversación útil hasta el final.

La gran apuesta por el voice-to-voice

Esta fue la decisión más estructural de todo el proyecto. Y se tomó muy pronto, en abril de 2024, en un momento en el que el modelo voice-to-voice de OpenAI aún no estaba disponible para producción (su versión general se lanzó en agosto de 2025).

¿Por qué asumir este riesgo? Por dos razones.

La primera es la latencia. Como explica François Burlacot, director técnico del proyecto, un flujo STT/TTS añade fácilmente casi 3 segundos de espera entre el final de la frase del cliente y el inicio de la respuesta del agente. Con el voice-to-voice, ese tiempo baja a en torno a un segundo, o incluso menos. Para el usuario, la diferencia no es marginal: es la línea que separa una conversación fluida de un intercambio desesperante.

La segunda es la naturalidad de la voz. Cuando pasamos por una transcripción a texto, eliminamos la emoción. Los modelos voice-to-voice, en cambio, conservan toda la riqueza de la señal de voz. “A veces escuchas al modelo respirar, otras veces oyes ruidos de teclado”, señala François. Son detalles que otorgan al intercambio un realismo casi humano, algo imposible de replicar con un pipeline clásico.

A estas dos razones se suma una tercera, de corte más estratégico: evitar futuras migraciones. Crear un agente en STT/TTS para luego pasarlo a voice-to-voice es un trabajo colosal. Al apostar desde el minuto cero por la arquitectura definitiva, el equipo de Orange se ahorra ese coste futuro. Eso sí, asumiendo un coste presente: trabajar con una tecnología que, en ese momento, todavía no existía.

Lo más destacable es que esta decisión jamás se cuestionó durante los 12 meses siguientes. Como apunta Baptiste Couaillet, en un terreno donde la verdad de ayer ya no vale hoy, mantener un marco tecnológico estable es precisamente lo que permite que un proyecto llegue a producción. Todos los compromisos de los partners se cumplieron a rajatabla. Sharlie salió a producción sin retrasos, ni a nivel de infraestructura ni de producto.

La arquitectura: una constelación de treinta agentes orquestados

Sharlie no es un único agente: se estructura como una arquitectura multiagente compuesta por unos treinta perfiles especializados que se transfieren el contexto de la llamada en tiempo real según la consulta del usuario.

A grandes rasgos, la arquitectura se resume en varios bloques. Del lado del cliente, se integra un SDK en la app de Sosh y en su versión web. Este SDK transmite la voz a una plataforma de orquestación, alojada en un tenant Azure de Orange (es decir, en cloud europeo). Esta plataforma orquesta a los distintos agentes, que a su vez se conectan al modelo voice-to-voice (Real-Time de OpenAI) para gestionar la capa conversacional.

Cada agente tiene una misión clara. Uno gestiona la autenticación. Otro, las dudas sobre facturas. Otro, la contratación de bonos de roaming. Otro, las opciones adicionales. Cada uno se apoya en las APIs internas de Orange para extraer los datos que necesita (catálogo de productos, facturas, estado de la cuenta) y para ejecutar acciones reales (contratar una tarifa, lanzar una notificación push a la app de Sosh).

Esta arquitectura multiagente se ha convertido en el estándar para los despliegues industriales, y con razón. Permite hiperespecializar a cada agente en un perímetro muy acotado, aislar posibles errores, actualizar cada bloque de forma independiente y escalar la llamada a un humano cuando sea necesario.

El método: validar de la misma forma que se forma a un asesor

Una de las grandes singularidades del proyecto es su método de validación. En lugar de sacarse un proceso de la manga, el equipo se inspiró en los planes de onboarding que siguen los asesores reales de los call centers.

Fase 1: la puesta a punto en sandbox. Un Data Scientist y un asesor de Negocio trabajan codo con codo. El asesor aporta los customer journeys, el desglose de las intenciones y las reglas del juego. El Data Scientist construye, ajusta y pule el sistema. El ciclo se da por cerrado cuando el asesor da luz verde a la calidad.

Fase 2: validación por parte del referente de atención al cliente. Una figura clave en el proyecto: alguien que conoce al dedillo a los clientes y que lleva miles (o millones) de llamadas a sus espaldas. Sabe identificar el nivel de enfado con el que puede llegar un usuario, qué funciona y qué es contraproducente. Esta persona valida dos o tres escenarios por cada intención para certificar que la calidad daría la talla en un call center real.

Fase 3: validación con otros asesores y clientes. Todos los escenarios se vuelven a testear con otros agentes y con perfiles de cliente muy diversos, para comprobar que el sistema es robusto frente a la diversidad real del mundo.

Esta disciplina metodológica es la que permitió transformar a Sharlie de un simple POC a un MVP listo para salir a producción.

Del determinismo al probabilismo: un cambio de mentalidad radical

Sharlie ha servido para abrir los ojos ante un cambio de paradigma mucho más amplio que el propio proyecto: el salto de un mundo determinista a un mundo probabilístico.

En el mundo digital clásico, un test que funciona una vez, casi siempre funciona la siguiente. En un sistema de IA, esto deja de ser cierto: puede funcionar 99 veces y fallar estrepitosamente en la número cien. Consecuencias directas:

• La gobernanza del dato tiene que evolucionar. Durante el proyecto Sharlie, el equipo detectó una intención que fallaba la mitad de las veces: las tarifas que cubren Marruecos o Suiza. El problema no era la inteligencia del modelo, sino el formato de los datos que se le suministraban. Se habían estructurado pensando en una web; es decir, eran clarísimos para un humano leyendo una pantalla, pero un galimatías para un LLM consumiéndolos vía API. Se trata de un esfuerzo de fondo monumental: un desafío estructural para los próximos diez años.
• Los clientes virtuales se vuelven imprescindibles. Para cazar ese fallo que ocurre una vez de cada 100 o de cada 1000, necesitas un sistema que lance automáticamente grandes volúmenes de conversaciones, complementado por un LLM-as-a-judge que evalúe la calidad de las respuestas. Es esta infraestructura la que permite iterar en producción perdiéndole el miedo a las regresiones.
• La observabilidad debe abrazar ambos mundos. Los logs deterministas clásicos (latencia, errores, llamadas a herramientas) siguen siendo muy útiles, pero no te dicen nada sobre la calidad de la respuesta. Hay que cruzarlos con las evaluaciones cualitativas que genera el LLM-as-a-judge. Es esta fusión la que convierte la monitorización en algo verdaderamente accionable.

Seguridad: un bug bounty adaptado a la IA de voz

En el plano de la ciberseguridad, el equipo decidió importar una práctica muy consolidada en ese ámbito: el bug bounty. Orange ya contaba con un programa clásico de recompensas gestionado por un partner de referencia. El reto era extenderlo a la IA; es decir, contemplar modos de ataque muy específicos (prompt injections, intentos de manipulación conversacional o robo de información).

Cerca de cuarenta expertos participaron en el programa y sacaron a la luz vulnerabilidades muy interesantes. El programa se diseñó expresamente para ello: recompensas escaladas según la gravedad (un Sharlie que te da información falsa sobre una tarifa se paga mejor que un Sharlie que te llama Bob en lugar de David), categorización de las brechas y colaboración con un agente especializado.

Hoy por hoy, es uno de los primeros programas de este estilo aplicados a un agente conversacional en producción en Francia, y sin duda marcará el estándar del futuro.