Curso exprés · No. 35
La voz lo cambia todo en un producto de IA. Tiene que escuchar, entender, pensar y responder — lo bastante rápido para que parezca una conversación, no un walkie-talkie. Por dentro hay un pipeline de tres piezas y un problema genuinamente difícil: hacerlo todo en tiempo real.
18 conceptos · un diagrama por cada uno · chuleta al final
Una IA de voz no es una sola cosa: es una cadena de tres trabajos. Mira primero el pipeline y todo lo demás de este curso encaja en su sitio.
Mapa: 18 conceptos en siete grupos
Un mapa de metro: primero ves las líneas enteras, luego recorres estación por estación.
Los conceptos del curso se reparten en siete grupos. Primero, el pipeline en sí. Luego sus extremos: el oído (de voz a texto) y la boca (de texto a voz). Después la dificultad central: la latencia. Luego la coreografía de la conversación: quién habla cuándo. Después el camino más nuevo: los modelos realtime. Y al final, cómo usar la voz con cabeza.
Cómo leer cada concepto
Un pasaporte: los mismos campos para todos, así es fácil compararlos.
Cada concepto de abajo tiene las mismas partes: su nombre en inglés (recuérdalo: así lo encontrarás en la documentación), una imagen cotidiana, un diagrama y una tarjeta con campos: qué es, cómo funciona, ejemplo, trampa y conceptos relacionados. Una idea recorre todo el curso: la latencia lo es todo.
Voice Pipeline — oído, cerebro, boca
Una persona en una conversación: oye lo que dices, lo piensa y responde. Tres actos distintos que parecen uno solo.
Una IA de voz hace tres cosas en secuencia. Escucha: convierte el habla en texto. Piensa: un modelo lee ese texto y escribe una respuesta. Habla: convierte la respuesta de nuevo en audio. Las etapas tienen nombre: Speech-to-Text (STT), el modelo (LLM) y Text-to-Speech (TTS). Esta cadena también se llama cascade (cascada). La mayor parte de la IA de voz se construye justo así.
- Qué es
- Una cadena de tres etapas: de voz a texto, el modelo, de texto a voz.
- Cómo funciona
Entra voz → se transcribe → se razona → se sintetiza → sale voz.
- Ejemplo
El usuario dice «una mesa para dos», el STT lo anota, el modelo responde y el TTS dice la respuesta en voz alta.
- Trampa
- Tres etapas seguidas: tres fuentes de retraso.
- Relaciones
Se compone de Speech-to-Text, el LLM Core y Text-to-Speech; la alternativa es Speech-to-Speech.
LLM Core — el mismo modelo, bordes nuevos
Ya sabes pensar y responder con palabras. Aprender a conversar por voz solo añade escuchar y hablar alrededor de ese mismo núcleo.
El núcleo de razonamiento es el mismo modelo de lenguaje (LLM) de todos los demás cursos. Contexto, prompting, herramientas, salida estructurada: todo sigue valiendo para el texto del medio. Lo nuevo es solo el audio en ambos extremos: convertir sonido en texto y texto en sonido, de forma fiable y rápida. No reaprendes el cerebro. Añades el oído y la boca, y aprendes lo único que hace difícil la voz: hacerlo todo dentro del ritmo ajustado que exige una conversación.
- Qué es
- Un modelo de texto normal en el medio del pipeline de voz.
- Cómo funciona
Recibe el texto del STT y escribe una respuesta de texto para el TTS.
- Ejemplo
El mismo prompt, las mismas herramientas y la misma estructura de salida que en un chatbot de texto.
- Trampa
- El modelo solo ve texto: no sabe cómo se dijo algo.
- Relaciones
- El medio del Voice Pipeline; Speech-to-Speech lo elimina.
Una IA de voz es un pipeline: el oído (STT), el cerebro (el modelo) y la boca (TTS). El cerebro ya lo conoces; lo nuevo es el audio en los extremos y el tiempo entre las etapas.
La primera etapa convierte el sonido en palabras. Hoy es notablemente buena, pero sus errores marcan todo lo que viene después, así que conviene saber qué puede y qué no puede hacer.
Speech-to-Text — el sonido se vuelve texto
Un taquígrafo de juzgado que teclea cada palabra según se dice: convierte el flujo del habla en un registro que el resto del sistema puede leer.
Speech-to-Text (STT) — también llamado transcripción o ASR (reconocimiento automático del habla) — convierte el audio hablado en texto escrito. Es el oído del sistema: el usuario habla y el STT produce las palabras sobre las que razonará el modelo. El STT moderno es impresionantemente preciso y maneja el habla natural y desordenada mucho mejor que el torpe reconocimiento de voz de antes. Es el paso que permite hablar en lugar de teclear.
- Qué es
- El oído del sistema: convierte el habla en texto.
- Cómo funciona
- Escucha el audio y entrega las palabras que leerá el modelo.
- Ejemplo
- El usuario habla y sale la cadena «una mesa para dos».
- Trampa
- No es perfecto: acentos, ruido, nombres y jerga causan errores.
- Relaciones
La primera etapa del Voice Pipeline; sus fallos son Error Propagation.
Error Propagation — los fallos del oído bajan por la cadena
Si el taquígrafo oye mal una palabra, todos los lectores posteriores heredan el error. Queda grabado desde el principio.
El STT no es perfecto: los acentos, el ruido de fondo, las voces cruzadas, los términos técnicos y los nombres pueden causar transcripciones erróneas. Y como el STT es la primera etapa, sus errores se propagan: el modelo razona sobre el texto que le dieron. Una sola palabra mal oída puede descarrilar en silencio toda la respuesta. Un sistema de voz es tan bueno como su transcripción. Así que diseña para entradas imperfectas: el modelo debe manejar con calma un texto algo deformado, y tú vigilas las condiciones donde el oído más sufre.
- Qué es
Un error de transcripción se convierte en la entrada de todas las etapas siguientes.
- Cómo funciona
- El modelo no oye el audio: se fía del texto que le dieron.
- Ejemplo
El STT oye mal un nombre y el modelo busca con total seguridad a la persona equivocada.
- Qué hacer
Diseña para entradas imperfectas; vigila el ruido y los acentos de tus usuarios reales.
- Relaciones
El punto débil de Speech-to-Text; el LLM Core no puede verlo.
Streaming STT — transcribir mientras el usuario habla
Un taquígrafo que teclea sin parar mientras hablas, no uno que espera a que termine todo el discurso: el texto aparece al compás de las palabras.
El STT puede ser streaming: transcribe de forma continua mientras el usuario habla, en lugar de esperar a que acabe y procesar todo el clip. Importa por la velocidad: el sistema empieza a trabajar antes y reacciona en cuanto el usuario se calla, en vez de añadir una pausa larga. Transcribir al final o transcribir sobre la marcha es una de las primeras decisiones de latencia de un sistema de voz, y el streaming suele ser lo que lo hace sentirse vivo.
- Qué es
- Transcribir de forma continua mientras el usuario aún habla.
- Cómo funciona
El texto se va acumulando durante el habla: al final de la frase está casi listo.
- Ejemplo
El usuario termina y el sistema responde enseguida, sin una pausa para transcribir.
- Trampa
- Sin él, cada respuesta lleva delante una pausa notable.
- Relaciones
- El gemelo de Streaming TTS; parte de Stream & Overlap.
El STT es el oído: convierte el habla en texto para el modelo. Sus errores bajan por la cadena, así que diseña para entradas imperfectas, y transcribe mientras el usuario habla.
La última etapa convierte la respuesta de texto del modelo de nuevo en una voz. Es la parte que el usuario realmente oye, así que su calidad marca cómo se siente todo el producto.
Text-to-Speech — el texto se vuelve voz
Un narrador que lee un guion en voz alta: convierte palabras escritas en un habla natural y expresiva, no en un recitado.
Text-to-Speech (TTS), o síntesis de voz, convierte la respuesta de texto del modelo en audio. Es la boca del sistema. El TTS moderno produce voces notablemente naturales, con entonación y ritmo realistas, muy lejos del habla robótica y plana de antes. Un gran pipeline con voz robótica sigue pareciendo barato. Una voz natural hace que toda la interacción se sienta humana, y buena parte de por qué los productos de voz se han vuelto viables.
- Qué es
- La boca del sistema: convierte el texto de la respuesta en voz.
- Cómo funciona
Toma el texto del modelo y sintetiza el habla con entonación y ritmo.
- Ejemplo
La cadena «Mesa reservada» se convierte en una frase cálida y natural.
- Trampa
- Una voz robótica hace que hasta un gran pipeline parezca barato.
- Relaciones
La última etapa del Voice Pipeline; Voice Persona fija su tono y Streaming TTS su velocidad.
Voice Persona — la voz carga con la experiencia
Las mismas palabras dichas con calidez o con frialdad llegan de forma completamente distinta. El oyente responde a la forma de decirlo, no solo al contenido.
En un producto de voz, cómo se dice algo importa tanto como qué se dice. La voz elegida, su tono, su ritmo: son decisiones de producto que dan forma a la confianza y la comodidad, igual que el diseño visual en un producto de pantalla. Una voz demasiado rápida, demasiado plana o con una entonación rara estropea una buena respuesta. Así que el TTS no es un añadido de última hora. La voz (la voice persona) se elige y se afina con el mismo cuidado que cualquier otro elemento de la interfaz.
- Qué es
- La voz, el tono y el ritmo elegidos: la «cara» de un producto de voz.
- Cómo funciona
La entrega cambia cómo se recibe exactamente la misma respuesta.
- Ejemplo
«Tu pedido se ha retrasado» con una voz calmada y cálida, frente a las mismas palabras, rápidas y planas.
- Trampa
Una voz por defecto, sin afinar, puede minar la confianza en buenas respuestas.
- Relaciones
- Un ajuste de Text-to-Speech; parte de Conversation Flow.
Streaming TTS — hablar mientras se escribe
Alguien que empieza a decir su respuesta según la va pensando, en lugar de redactarla entera en silencio y soltarla de golpe.
Igual que el STT puede entrar en streaming, el TTS puede salir en streaming: dice el principio de la respuesta mientras el resto aún se está generando. No hace falta esperar al texto completo y al audio completo para emitir un sonido. El usuario oye cómo empieza la respuesta casi de inmediato en vez de quedarse en silencio. Junto con el modelo que emite su texto en streaming, así es como un agente de voz responde sin un hueco incómodo: el habla empieza en cuanto hay algo que decir.
- Qué es
Poner voz al principio de la respuesta mientras el resto aún se genera.
- Cómo funciona
El modelo emite texto en trozos; el TTS convierte cada trozo en audio al momento.
- Ejemplo
Las primeras palabras de la respuesta suenan casi al instante, no tras un silencio.
- Trampa
Sin streaming, el usuario espera en silencio mientras se fabrica toda la respuesta.
- Relaciones
- El gemelo de Streaming STT; parte de Stream & Overlap.
El TTS es la boca: pone voz a la respuesta del modelo, y las voces modernas suenan lo bastante naturales para cargar con toda la experiencia. Haz streaming del habla para que la respuesta empiece de inmediato, no tras un silencio.
Aquí está lo que hace la voz genuinamente difícil. Una conversación tiene un ritmo, y todo el pipeline de tres etapas tiene que caber dentro de él, o la magia se rompe.
Latency Budget — una conversación tiene una ventana estrecha
En una charla real, una respuesta que llega un instante tarde resulta incómoda; una que llega tras varios segundos parece rota. La ventana de lo «natural» es pequeña.
La gente espera una respuesta conversacional en una fracción de segundo. Un retraso que sería invisible en una app de chat es flagrante al hablar: un par de segundos de silencio después de que termines de hablar parece que el sistema se ha colgado. Esta ventana estrecha, el latency budget (presupuesto de latencia), es la restricción que define a la IA de voz. Todo el viaje de ida y vuelta (oír, transcribir, pensar, sintetizar, hablar) tiene que caber en ella. Si no, hasta una respuesta perfecta parece rota.
- Qué es
La ventana de tiempo de respuesta que tolera una conversación en vivo: una fracción de segundo.
- Cómo funciona
Todo, desde «oír» hasta «hablar», tiene que caber dentro de esa ventana.
- Ejemplo
Una pausa de dos segundos que nadie nota en un chat suena a «el sistema se ha colgado» en voz.
- Trampa
- Si no llegas, hasta una respuesta correcta parece rota.
- Relaciones
Se lo come Latency Stacking; lo salvan Stream & Overlap y Speech-to-Speech.
Latency Stacking — los retrasos se suman
Una carrera de relevos donde el tiempo total es el de todos los tramos juntos: un traspaso lento en cualquier punto retrasa a todo el equipo.
Lo cruel es que la latencia se acumula a lo largo del pipeline. El tiempo de transcribir + el tiempo que el modelo tarda en pensar + el tiempo de sintetizar: todo se apila en la pausa que siente el usuario. Que cada etapa sea «lo bastante rápida» por separado no basta si su suma revienta el presupuesto. Por eso la voz es más difícil que el texto: un chat de texto solo espera al modelo, mientras que la voz espera a tres etapas en serie, y la ventana conversacional es mucho más estrecha.
- Qué es
- Los retrasos de las tres etapas se suman en una sola pausa total.
- Cómo funciona
Retraso total = STT + modelo + TTS, cuando se ejecutan estrictamente en orden.
- Ejemplo
Cada etapa es «rápida», y aun así juntas dejan un silencio incómodo tras cada frase.
- Trampa
- Optimizar una etapa no basta: el usuario siente la suma.
- Relaciones
Rompe el Latency Budget; se arregla con Stream & Overlap o Speech-to-Speech.
Stream & Overlap — ejecutar las etapas en paralelo
Un intérprete simultáneo que traduce mientras hablas y empieza a decir la respuesta a mitad de la idea: solapa las etapas en vez de hacerlas estrictamente una tras otra.
La técnica clave es hacer streaming y solapar las etapas en lugar de ejecutarlas estrictamente en secuencia. Transcribe mientras el usuario habla. Deja que el modelo empiece a generar antes de que la pregunta esté del todo procesada. Empieza a hablar la respuesta antes de que esté del todo escrita. Solapar las tres etapas, en vez de esperar a que cada una termine, es como un sistema de voz reduce el retraso total a algo conversacional. Todo el arte de la voz de baja latencia está en mantener el pipeline fluyendo de forma continua, sin pararse y arrancar en cada etapa.
- Qué es
- Las tres etapas hacen streaming y corren a la vez, no por turnos.
- Cómo funciona
El STT transcribe sobre la marcha, el modelo arranca pronto, el TTS habla mientras el modelo escribe.
- Ejemplo
Un agente de voz responde sin hueco, aunque por dentro sigue teniendo las mismas tres etapas.
- Trampa
Un sistema en streaming es más difícil de construir que «terminar una etapa y pasarla a la siguiente».
- Relaciones
Combina Streaming STT y Streaming TTS; la forma principal de cumplir el Latency Budget.
Una conversación tiene un presupuesto de latencia ajustado, y los retrasos de las tres etapas se suman. Haz streaming y solápalas: transcribe, piensa y habla en paralelo, no en secuencia.
Más allá de la velocidad, la conversación natural tiene una coreografía de quién habla cuándo. Eso separa a un agente de voz que se siente real de uno torpe.
Turn-taking — saber cuándo ha terminado el usuario
Un buen oyente distingue una pausa para respirar del final de una frase: no se mete cada vez que te tomas un momento.
Un sistema de voz tiene que detectar cuándo el usuario ha terminado de verdad de hablar, frente a cuando solo ha hecho una pausa a mitad de una idea. Eso es el turn-taking: saber cuándo es el turno del sistema. Si entras demasiado pronto, cortas al usuario; si esperas demasiado, la conversación se arrastra. El juicio es sorprendentemente difícil y central para que se sienta natural. Los humanos lo hacen sin esfuerzo a partir de señales sutiles; un agente de voz tiene que aproximarlo lo bastante bien para que el ir y venir fluya en lugar de tropezar.
- Qué es
- La decisión: ¿esta pausa es una respiración o el final del turno?
- Cómo funciona
- El sistema escucha las pausas y decide cuándo le toca.
- Ejemplo
«Quisiera reservar… [pausa] …para el viernes»: tras la primera pausa es demasiado pronto para responder.
- Trampa
Demasiado pronto corta al usuario; demasiado tarde hace que la conversación se arrastre.
- Relaciones
- Junto con Barge-in, forma el Conversation Flow.
Barge-in — ceder el turno cuando te interrumpen
Cuando empiezas a hablar encima de alguien, se calla y escucha: no sigue arrasando con su frase como si no hubieras dicho nada.
La conversación real incluye interrupciones. Si el usuario empieza a hablar mientras la IA habla, eso es barge-in, y un sistema natural se detiene, escucha y responde a la nueva entrada, en vez de terminar su respuesta ya preparada por encima de él. Soportar la interrupción es la marca de un buen agente de voz; uno malo te habla encima sin enterarse. Manejar el barge-in significa que el sistema está siempre escuchando, incluso mientras habla, listo para ceder la palabra en el instante en que el usuario la toma.
- Qué es
- La capacidad de callarse cuando el usuario interrumpe.
- Cómo funciona
El sistema escucha incluso mientras habla; cuando oye una voz, se detiene y escucha.
- Ejemplo
El agente enumera opciones, el usuario dice «¡la segunda!» y el agente cambia al instante.
- Trampa
- Sin barge-in, el agente habla encima de la gente y parece sordo.
- Relaciones
- Junto con Turn-taking, forma el Conversation Flow.
Conversation Flow — el flujo es el producto
Un buen interlocutor y uno torpe dicen palabras parecidas: la diferencia está en el tiempo, la escucha y el ceder el paso. El flujo es la experiencia.
Que un agente de voz se sienta natural o robótico depende en gran parte de esta coreografía: detectar turnos, ceder ante las interrupciones, no dejar silencios muertos y no hablar encima del usuario. Estos detalles del conversation flow importan tanto como la precisión de la respuesta, porque una respuesta correcta entregada con un tiempo torpe sigue pareciendo rota. Diseñar un producto de voz es diseñar la conversación, no solo las respuestas. El ritmo de quién habla cuándo es una parte de primer nivel de la experiencia, no un paso de pulido.
- Qué es
El ritmo de la charla: quién habla cuándo, las pausas, el ceder el paso.
- Cómo funciona
- Se construye con turn-taking, barge-in y sin silencios muertos.
- Ejemplo
Dos agentes con respuestas idénticas: uno parece una persona, el otro un contestador automático.
- Trampa
- Una respuesta correcta con un tiempo torpe sigue pareciendo rota.
- Relaciones
Se construye con Turn-taking y Barge-in; depende del Latency Budget.
La voz natural necesita turn-taking (saber cuándo ha terminado el usuario) y barge-in (callarse cuando lo interrumpen). El ritmo de quién habla cuándo es tanto el producto como las propias respuestas.
A la cascada clásica se suma un enfoque más nuevo: modelos que manejan la voz directamente, de extremo a extremo, y colapsan las etapas para reducir la latencia. Conviene saber hacia dónde va el campo.
Speech-to-Speech — un modelo en lugar de tres
En vez de una cadena de «un traductor lo anota, un pensador responde, un locutor lo lee en voz alta»: una sola persona que oye, piensa y responde a la vez. Un vuelo directo en vez de dos conexiones.
Una clase más nueva de modelos realtime, o speech-to-speech, maneja el audio directamente. Entra voz, sale voz, sin pasos separados de transcribir → razonar → sintetizar. Un modelo en lugar de tres en cadena: el enfoque end-to-end. La gran ventaja es la latencia: sin fronteras entre etapas no hay retrasos al pasar datos de una a otra. La segunda ventaja es que no se pierde nada en la conversión: el modelo oye cómo se dijo algo, no solo las palabras, conserva el tono y la emoción, y puede responder con la expresión adecuada.
- Qué es
- Un modelo que recibe voz y responde directamente en voz.
- Cómo funciona
Sin STT ni TTS separados: no hay traspasos entre etapas ni retrasos por traspasos.
- Ejemplo
El modelo oye irritación en la voz del usuario y responde con más calma: una cascada de texto no puede verlo.
- Trampa
- El medio es una caja negra: menos visibilidad y control.
- Relaciones
La alternativa al Voice Pipeline; la vía más directa hacia el Latency Budget.
Pipeline vs End-to-End — una elección real
Puedes viajar en una serie de trenes y controlar cada tramo, o tomar un servicio directo que es más rápido pero te deja menos voz sobre la ruta. Compromisos distintos, ambos válidos.
El pipeline clásico y el modelo end-to-end son opciones reales, cada una con su precio. El pipeline da control y flexibilidad en cada etapa (cambiar el STT, inspeccionar la transcripción, usar cualquier modelo) a costa de latencia y complejidad. El end-to-end da velocidad y naturalidad, pero menos visibilidad y control sobre el medio. Saber que existen las dos te permite elegir con intención: el pipeline transparente y flexible o el enfoque end-to-end rápido y fluido, según lo que más necesite tu producto.
- Qué es
- La elección de arquitectura para un producto de voz.
- Pipeline
Cambia STT/TTS, lee la transcripción, usa cualquier modelo. Coste: latencia y más piezas móviles.
- End-to-end
La latencia más baja, tono y emoción conservados. Coste: menos visibilidad y control.
- Cuándo usar cada uno
¿Necesitas control e inspección? Pipeline. ¿Necesitas velocidad y fluidez? End-to-end.
- Relaciones
- Compara el Voice Pipeline y Speech-to-Speech.
Los modelos realtime reciben y entregan voz directamente: menos etapas, menos latencia, y el tono sobrevive. Pipeline frente a end-to-end es un compromiso real: control y flexibilidad, o velocidad y naturalidad.
Usar bien la voz significa elegirla para las situaciones adecuadas y respetar que la latencia, más que nada, decide si se siente mágica o rota.
Modality Fit — la voz donde corresponde
Preferirías dictar indicaciones mientras conduces y teclear un formulario largo en tu escritorio: la entrada adecuada depende por completo de la situación.
La voz es potente donde encaja: manos ocupadas, accesibilidad, conversación natural, situaciones donde hablar es más rápido o más seguro que teclear. Encaja mal donde el texto es mejor: entrada precisa, privacidad en público, revisión cuidadosa. La habilidad está en ajustar la modalidad al momento, no en añadir voz porque impresione. Voz donde serviría mejor el texto es un retroceso; voz donde hablar es el acto natural es transformador. Elígela por la situación, no por la novedad.
- Qué es
- Elegir voz o texto según la situación concreta.
- La voz encaja
- Manos ocupadas, conducir, accesibilidad, conversación natural.
- El texto encaja
- Entrada precisa, privacidad en público, revisión cuidadosa.
- Trampa
- Voz «porque es guay» donde el texto es mejor es un retroceso.
- Relaciones
La primera pregunta antes que nada; sin ella, Latency-First no tiene sentido.
Latency-First Design — presupuesta la latencia desde el primer día
Un chef que planifica toda la comida en torno al plato que más tarda: diseña alrededor de la restricción que manda, en vez de descubrirla al final.
Como la latencia lo decide todo, diséñala desde el principio (latency-first): streaming en cada etapa, un modelo end-to-end donde la velocidad sea crítica y un plan para cuando una etapa vaya lenta. Las funciones de voz que ignoran la latencia hasta tarde suelen sentirse lentas y rotas, por buenas que sean las respuestas. Trata el tiempo de respuesta como la restricción central de diseño de un producto de voz: el único número que, si falla, lo arruina todo lo demás.
- Qué es
El tiempo de respuesta es la restricción principal en torno a la cual se construye todo.
- Cómo funciona
Fija el presupuesto → streaming en todas partes → end-to-end donde sea crítico → plan para una etapa lenta.
- Ejemplo
Mide el viaje de ida y vuelta completo en el primer prototipo y rechaza las decisiones que lo rompan.
- Trampa
- La latencia descubierta al final es difícil de arreglar.
- Relaciones
Protege el Latency Budget; se apoya en Stream & Overlap y Speech-to-Speech.
Cómo encaja todo
Todo el mapa de metro a la vez: ahora ves dónde se cruzan las líneas.
La cascada causa latency stacking, que golpea el presupuesto. Streaming y overlap, o speech-to-speech, lo rescatan. Cumple el presupuesto y construye un conversation flow con turn-taking y barge-in, y la conversación se siente viva. Y el modality fit decide si necesitas voz en absoluto.
- ¿Encaja de verdad la voz en la situación, o serviría mejor el texto al usuario?
- ¿Hace streaming cada etapa: transcribir, pensar y hablar solapadas, no en estricta secuencia?
- ¿Se siente conversacional la latencia total, o hay un hueco incómodo?
- ¿Maneja el turn-taking (saber cuándo terminó el usuario) y el barge-in?
- ¿Es la voz lo bastante natural para cargar con la experiencia?
- ¿Pipeline o end-to-end? ¿He elegido la arquitectura según mis necesidades de latencia y control?
- Eliges voz para situaciones donde hablar encaja de verdad, no por novedad.
- Cada etapa hace streaming y se solapa, así que la respuesta empieza casi al instante.
- La latencia total se siente conversacional, sin silencios incómodos.
- El agente maneja turn-taking y barge-in, así que el flujo se siente natural.
- Elegiste pipeline o end-to-end a conciencia, diseñando en torno al latency budget.
Chuleta: los 18 conceptos
Pipeline
- Voice Pipelinecascada
STT → modelo → TTS: oído, cerebro, boca en secuencia.
- LLM Coreel núcleo de razonamiento
El mismo modelo de texto en el medio; solo los bordes son nuevos.
Escuchar
- Speech-to-TextSTT, ASR
El oído: convierte el habla en texto.
- Error Propagationlos errores bajan por la cadena
Un error de transcripción se convierte en la entrada del modelo.
- Streaming STTtranscribir sobre la marcha
El texto está listo al final de la frase: sin pausa antes de reaccionar.
Hablar
- Text-to-SpeechTTS, síntesis
La boca: convierte el texto de la respuesta en voz.
- Voice Personavoz y entrega
El tono y el ritmo son parte del producto, no un detalle.
- Streaming TTSsíntesis en streaming
Empieza a hablar mientras la respuesta aún se está escribiendo.
Latencia
- Latency Budgetventana de tiempo de respuesta
Responde en una fracción de segundo, o parece colgado.
- Latency Stackinglatencia acumulada
Los retrasos de las tres etapas se suman en uno.
- Stream & Overlapetapas en paralelo
Todas las etapas en streaming a la vez: la forma principal de llegar a tiempo.
Turnos
- Turn-takingdetección de turnos
Distingue una pausa para respirar del final de una frase.
- Barge-inmanejo de interrupciones
Te interrumpen: para, escucha, responde.
- Conversation Flowritmo de la charla
Quién habla cuándo es tanto el producto como las respuestas.
Realtime
- Speech-to-Speechrealtime, end-to-end
Un modelo: entra voz, sale voz. Menos latencia, el tono sobrevive.
- Pipeline vs End-to-Endelección de arquitectura
Control y flexibilidad frente a velocidad y naturalidad.
Usarlo bien
- Modality Fitcuándo corresponde la voz
Voz donde hablar es natural; texto donde importa la precisión.
- Latency-First Designlatencia desde el primer día
Construye todo en torno al presupuesto de tiempo de respuesta.
La voz significa escuchar, pensar y hablar lo bastante rápido para que parezca una conversación. Haz streaming y solapa el pipeline, maneja el turn-taking y las interrupciones, elige pipeline o end-to-end a conciencia, y trata la latencia como la restricción a la que se pliega todo lo demás.