# Hablar con la IA, no teclear Curso exprés sobre IA de voz y en tiempo real. 18 conceptos — Voice Pipeline, Speech-to-Text, Text-to-Speech, Latency Budget, Streaming, Turn-taking, Barge-in, Speech-to-Speech y más — cada uno con su nombre en inglés, un diagrama y una tarjeta: qué es → cómo funciona → ejemplo → trampa. La idea central: la voz significa escuchar, pensar y hablar lo bastante rápido para que parezca una conversación. Al final, una chuleta de una página. - **Author:** Fedor Chishchin - **Level:** intermediate - **Reading time:** ~30 minutos de lectura - **Published:** 2026-06-13 - **Source:** https://fedorthinks.com/es/learn/voice-ai-express --- ## 1. El pipeline de voz Una IA de voz no es una sola cosa: es una cadena de tres trabajos. Mira primero el pipeline y todo lo demás de este curso encaja en su sitio. ### Mapa: 18 conceptos en siete grupos > Un mapa de metro: primero ves las líneas enteras, luego recorres estación por estación. Los conceptos del curso se reparten en siete grupos. Primero, el pipeline en sí. Luego sus extremos: el **oído** (de voz a texto) y la **boca** (de texto a voz). Después la dificultad central: la **latencia**. Luego la coreografía de la conversación: **quién habla cuándo**. Después el camino más nuevo: los **modelos realtime**. Y al final, cómo usar la voz con cabeza. _Diagram: Siete grupos de conceptos: los capítulos los siguen en orden._ ### Cómo leer cada concepto > Un pasaporte: los mismos campos para todos, así es fácil compararlos. Cada concepto de abajo tiene las mismas partes: su **nombre en inglés** (recuérdalo: así lo encontrarás en la documentación), una imagen cotidiana, un **diagrama** y una **tarjeta** con campos: _qué es_, _cómo funciona_, _ejemplo_, _trampa_ y conceptos _relacionados_. Una idea recorre todo el curso: **la latencia lo es todo**. ### Voice Pipeline — oído, cerebro, boca > Una persona en una conversación: oye lo que dices, lo piensa y responde. Tres actos distintos que parecen uno solo. Una IA de voz hace tres cosas en secuencia. **Escucha**: convierte el habla en texto. **Piensa**: un modelo lee ese texto y escribe una respuesta. **Habla**: convierte la respuesta de nuevo en audio. Las etapas tienen nombre: **Speech-to-Text (STT)**, el modelo (**LLM**) y **Text-to-Speech (TTS)**. Esta cadena también se llama **cascade** (cascada). La mayor parte de la IA de voz se construye justo así. _Diagram: La cascada clásica: voz → STT → LLM → TTS → voz de vuelta al usuario._ #### Voice Pipeline (cascade, cascada) - **Qué es:** Una cadena de tres etapas: de voz a texto, el modelo, de texto a voz. - **Cómo funciona:** Entra voz → se transcribe → se razona → se sintetiza → sale voz. - **Ejemplo:** El usuario dice «una mesa para dos», el STT lo anota, el modelo responde y el TTS dice la respuesta en voz alta. - **Trampa:** Tres etapas seguidas: tres fuentes de retraso. - **Relaciones:** Se compone de **Speech-to-Text**, el **LLM Core** y **Text-to-Speech**; la alternativa es **Speech-to-Speech**. ### LLM Core — el mismo modelo, bordes nuevos > Ya sabes pensar y responder con palabras. Aprender a conversar por voz solo añade escuchar y hablar alrededor de ese mismo núcleo. El núcleo de razonamiento es el mismo **modelo de lenguaje (LLM)** de todos los demás cursos. Contexto, prompting, herramientas, salida estructurada: todo sigue valiendo para el texto del medio. Lo nuevo es solo el audio en ambos extremos: convertir sonido en texto y texto en sonido, de forma fiable y rápida. No reaprendes el cerebro. Añades el oído y la boca, y aprendes lo único que hace difícil la voz: hacerlo todo dentro del ritmo ajustado que exige una conversación. _Diagram: El medio es el modelo de siempre, texto entra y texto sale; solo el oído y la boca son nuevos._ #### LLM Core (el núcleo de razonamiento) - **Qué es:** Un modelo de texto normal en el medio del pipeline de voz. - **Cómo funciona:** Recibe el texto del STT y escribe una respuesta de texto para el TTS. - **Ejemplo:** El mismo prompt, las mismas herramientas y la misma estructura de salida que en un chatbot de texto. - **Trampa:** El modelo solo ve texto: no sabe _cómo_ se dijo algo. - **Relaciones:** El medio del **Voice Pipeline**; **Speech-to-Speech** lo elimina. > **La pregunta de encuadre:** «¿Veo mi función de voz como tres etapas — escuchar, pensar, hablar — para saber a qué etapa pertenece cada problema?» > Una IA de voz es un pipeline: el oído (STT), el cerebro (el modelo) y la boca (TTS). El cerebro ya lo conoces; lo nuevo es el audio en los extremos y el tiempo entre las etapas. ## 2. De voz a texto La primera etapa convierte el sonido en palabras. Hoy es notablemente buena, pero sus errores marcan todo lo que viene después, así que conviene saber qué puede y qué no puede hacer. ### Speech-to-Text — el sonido se vuelve texto > Un taquígrafo de juzgado que teclea cada palabra según se dice: convierte el flujo del habla en un registro que el resto del sistema puede leer. **Speech-to-Text (STT)** — también llamado **transcripción** o **ASR (reconocimiento automático del habla)** — convierte el audio hablado en texto escrito. Es el oído del sistema: el usuario habla y el STT produce las palabras sobre las que razonará el modelo. El STT moderno es impresionantemente preciso y maneja el habla natural y desordenada mucho mejor que el torpe reconocimiento de voz de antes. Es el paso que permite hablar en lugar de teclear. _Diagram: STT (ASR): entra una onda de sonido, salen las palabras para el modelo._ #### Speech-to-Text (STT, ASR, transcripción) - **Qué es:** El oído del sistema: convierte el habla en texto. - **Cómo funciona:** Escucha el audio y entrega las palabras que leerá el modelo. - **Ejemplo:** El usuario habla y sale la cadena «una mesa para dos». - **Trampa:** No es perfecto: acentos, ruido, nombres y jerga causan errores. - **Relaciones:** La primera etapa del **Voice Pipeline**; sus fallos son **Error Propagation**. ### Error Propagation — los fallos del oído bajan por la cadena > Si el taquígrafo oye mal una palabra, todos los lectores posteriores heredan el error. Queda grabado desde el principio. El STT no es perfecto: los **acentos, el ruido de fondo, las voces cruzadas, los términos técnicos y los nombres** pueden causar transcripciones erróneas. Y como el STT es la primera etapa, **sus errores se propagan**: el modelo razona sobre el texto que le dieron. Una sola palabra mal oída puede descarrilar en silencio toda la respuesta. Un sistema de voz es tan bueno como su transcripción. Así que diseña para entradas imperfectas: el modelo debe manejar con calma un texto algo deformado, y tú vigilas las condiciones donde el oído más sufre. _Diagram: Un error en la primera etapa recorre toda la cadena: el modelo responde con seguridad a lo que no era._ #### Error Propagation (los errores bajan por la cadena) - **Qué es:** Un error de transcripción se convierte en la entrada de todas las etapas siguientes. - **Cómo funciona:** El modelo no oye el audio: se fía del texto que le dieron. - **Ejemplo:** El STT oye mal un nombre y el modelo busca con total seguridad a la persona equivocada. - **Qué hacer:** Diseña para entradas imperfectas; vigila el ruido y los acentos de tus usuarios reales. - **Relaciones:** El punto débil de **Speech-to-Text**; el **LLM Core** no puede verlo. ### Streaming STT — transcribir mientras el usuario habla > Un taquígrafo que teclea sin parar mientras hablas, no uno que espera a que termine todo el discurso: el texto aparece al compás de las palabras. El STT puede ser **streaming**: transcribe de forma continua mientras el usuario habla, en lugar de esperar a que acabe y procesar todo el clip. Importa por la velocidad: el sistema empieza a trabajar antes y reacciona en cuanto el usuario se calla, en vez de añadir una pausa larga. Transcribir al final o transcribir sobre la marcha es una de las primeras decisiones de latencia de un sistema de voz, y el streaming suele ser lo que lo hace sentirse vivo. _Diagram: El modo por lotes espera al final de la frase y añade una pausa; el streaming transcribe sobre la marcha y reacciona al instante._ #### Streaming STT (transcripción en streaming) - **Qué es:** Transcribir de forma continua mientras el usuario aún habla. - **Cómo funciona:** El texto se va acumulando durante el habla: al final de la frase está casi listo. - **Ejemplo:** El usuario termina y el sistema responde enseguida, sin una pausa para transcribir. - **Trampa:** Sin él, cada respuesta lleva delante una pausa notable. - **Relaciones:** El gemelo de **Streaming TTS**; parte de **Stream & Overlap**. > **La pregunta de la escucha:** «¿Qué precisión tiene mi transcripción con usuarios reales — sus acentos, su ruido — y la hago en streaming para que el sistema reaccione en cuanto se callan?» > El STT es el oído: convierte el habla en texto para el modelo. Sus errores bajan por la cadena, así que diseña para entradas imperfectas, y transcribe mientras el usuario habla. ## 3. De texto a voz La última etapa convierte la respuesta de texto del modelo de nuevo en una voz. Es la parte que el usuario realmente oye, así que su calidad marca cómo se siente todo el producto. ### Text-to-Speech — el texto se vuelve voz > Un narrador que lee un guion en voz alta: convierte palabras escritas en un habla natural y expresiva, no en un recitado. **Text-to-Speech (TTS)**, o **síntesis de voz**, convierte la respuesta de texto del modelo en audio. Es la boca del sistema. El TTS moderno produce voces notablemente naturales, con entonación y ritmo realistas, muy lejos del habla robótica y plana de antes. Un gran pipeline con voz robótica sigue pareciendo barato. Una voz natural hace que toda la interacción se sienta humana, y buena parte de por qué los productos de voz se han vuelto viables. _Diagram: TTS: entra el texto de la respuesta, sale una voz natural — entonación, ritmo, ritmo de habla._ #### Text-to-Speech (TTS, síntesis de voz) - **Qué es:** La boca del sistema: convierte el texto de la respuesta en voz. - **Cómo funciona:** Toma el texto del modelo y sintetiza el habla con entonación y ritmo. - **Ejemplo:** La cadena «Mesa reservada» se convierte en una frase cálida y natural. - **Trampa:** Una voz robótica hace que hasta un gran pipeline parezca barato. - **Relaciones:** La última etapa del **Voice Pipeline**; **Voice Persona** fija su tono y **Streaming TTS** su velocidad. ### Voice Persona — la voz carga con la experiencia > Las mismas palabras dichas con calidez o con frialdad llegan de forma completamente distinta. El oyente responde a la forma de decirlo, no solo al contenido. En un producto de voz, _cómo_ se dice algo importa tanto como _qué_ se dice. La voz elegida, su tono, su ritmo: son decisiones de producto que dan forma a la confianza y la comodidad, igual que el diseño visual en un producto de pantalla. Una voz demasiado rápida, demasiado plana o con una entonación rara estropea una buena respuesta. Así que el TTS no es un añadido de última hora. La voz (la **voice persona**) se elige y se afina con el mismo cuidado que cualquier otro elemento de la interfaz. _Diagram: Las mismas palabras: una entrega cálida genera confianza, una plana y rápida estropea una buena respuesta._ #### Voice Persona (la voz y la entrega del producto) - **Qué es:** La voz, el tono y el ritmo elegidos: la «cara» de un producto de voz. - **Cómo funciona:** La entrega cambia cómo se recibe exactamente la misma respuesta. - **Ejemplo:** «Tu pedido se ha retrasado» con una voz calmada y cálida, frente a las mismas palabras, rápidas y planas. - **Trampa:** Una voz por defecto, sin afinar, puede minar la confianza en buenas respuestas. - **Relaciones:** Un ajuste de **Text-to-Speech**; parte de **Conversation Flow**. ### Streaming TTS — hablar mientras se escribe > Alguien que empieza a decir su respuesta según la va pensando, en lugar de redactarla entera en silencio y soltarla de golpe. Igual que el STT puede entrar en streaming, el TTS puede **salir en streaming**: dice el principio de la respuesta mientras el resto aún se está generando. No hace falta esperar al texto completo y al audio completo para emitir un sonido. El usuario oye cómo empieza la respuesta casi de inmediato en vez de quedarse en silencio. Junto con el modelo que emite su texto en streaming, así es como un agente de voz responde sin un hueco incómodo: el habla empieza en cuanto hay algo que decir. _Diagram: El modo por lotes calla hasta que toda la respuesta está lista; el streaming empieza a hablar mientras el modelo aún escribe._ #### Streaming TTS (síntesis en streaming) - **Qué es:** Poner voz al principio de la respuesta mientras el resto aún se genera. - **Cómo funciona:** El modelo emite texto en trozos; el TTS convierte cada trozo en audio al momento. - **Ejemplo:** Las primeras palabras de la respuesta suenan casi al instante, no tras un silencio. - **Trampa:** Sin streaming, el usuario espera en silencio mientras se fabrica toda la respuesta. - **Relaciones:** El gemelo de **Streaming STT**; parte de **Stream & Overlap**. > **La pregunta del habla:** «¿Suena mi voz lo bastante natural para cargar con la experiencia, y la respuesta empieza casi al instante en lugar de tras un silencio?» > El TTS es la boca: pone voz a la respuesta del modelo, y las voces modernas suenan lo bastante naturales para cargar con toda la experiencia. Haz streaming del habla para que la respuesta empiece de inmediato, no tras un silencio. ## 4. El reto de la latencia Aquí está lo que hace la voz genuinamente difícil. Una conversación tiene un ritmo, y todo el pipeline de tres etapas tiene que caber dentro de él, o la magia se rompe. ### Latency Budget — una conversación tiene una ventana estrecha > En una charla real, una respuesta que llega un instante tarde resulta incómoda; una que llega tras varios segundos parece rota. La ventana de lo «natural» es pequeña. La gente espera una respuesta conversacional en **una fracción de segundo**. Un retraso que sería invisible en una app de chat es flagrante al hablar: un par de segundos de silencio después de que termines de hablar parece que el sistema se ha colgado. Esta ventana estrecha, el **latency budget** (presupuesto de latencia), es la restricción que define a la IA de voz. Todo el viaje de ida y vuelta (oír, transcribir, pensar, sintetizar, hablar) tiene que caber en ella. Si no, hasta una respuesta perfecta parece rota. _Diagram: Una fracción de segundo suena natural, un instante tarde resulta incómodo, varios segundos parece colgado. Todo el viaje de ida y vuelta debe caber en la primera ventana._ #### Latency Budget (la ventana de tiempo de respuesta) - **Qué es:** La ventana de tiempo de respuesta que tolera una conversación en vivo: una fracción de segundo. - **Cómo funciona:** Todo, desde «oír» hasta «hablar», tiene que caber dentro de esa ventana. - **Ejemplo:** Una pausa de dos segundos que nadie nota en un chat suena a «el sistema se ha colgado» en voz. - **Trampa:** Si no llegas, hasta una respuesta correcta parece rota. - **Relaciones:** Se lo come **Latency Stacking**; lo salvan **Stream & Overlap** y **Speech-to-Speech**. ### Latency Stacking — los retrasos se suman > Una carrera de relevos donde el tiempo total es el de todos los tramos juntos: un traspaso lento en cualquier punto retrasa a todo el equipo. Lo cruel es que la latencia **se acumula** a lo largo del pipeline. El tiempo de transcribir + el tiempo que el modelo tarda en pensar + el tiempo de sintetizar: todo se apila en la pausa que siente el usuario. Que cada etapa sea «lo bastante rápida» por separado no basta si su suma revienta el presupuesto. Por eso la voz es más difícil que el texto: un chat de texto solo espera al modelo, mientras que la voz espera a tres etapas en serie, y la ventana conversacional es mucho más estrecha. _Diagram: El chat espera a una etapa; la voz espera a tres en serie, y su suma se pasa del presupuesto._ #### Latency Stacking (latencia acumulada) - **Qué es:** Los retrasos de las tres etapas se suman en una sola pausa total. - **Cómo funciona:** Retraso total = STT + modelo + TTS, cuando se ejecutan estrictamente en orden. - **Ejemplo:** Cada etapa es «rápida», y aun así juntas dejan un silencio incómodo tras cada frase. - **Trampa:** Optimizar una etapa no basta: el usuario siente la suma. - **Relaciones:** Rompe el **Latency Budget**; se arregla con **Stream & Overlap** o **Speech-to-Speech**. ### Stream & Overlap — ejecutar las etapas en paralelo > Un intérprete simultáneo que traduce mientras hablas y empieza a decir la respuesta a mitad de la idea: solapa las etapas en vez de hacerlas estrictamente una tras otra. La técnica clave es **hacer streaming y solapar** las etapas en lugar de ejecutarlas estrictamente en secuencia. Transcribe mientras el usuario habla. Deja que el modelo empiece a generar antes de que la pregunta esté del todo procesada. Empieza a hablar la respuesta antes de que esté del todo escrita. Solapar las tres etapas, en vez de esperar a que cada una termine, es como un sistema de voz reduce el retraso total a algo conversacional. Todo el arte de la voz de baja latencia está en mantener el pipeline fluyendo de forma continua, sin pararse y arrancar en cada etapa. _Diagram: El mismo trabajo: una etapa tras otra llega tarde; solapadas, la respuesta empieza mucho antes._ #### Stream & Overlap (streaming, etapas solapadas) - **Qué es:** Las tres etapas hacen streaming y corren a la vez, no por turnos. - **Cómo funciona:** El STT transcribe sobre la marcha, el modelo arranca pronto, el TTS habla mientras el modelo escribe. - **Ejemplo:** Un agente de voz responde sin hueco, aunque por dentro sigue teniendo las mismas tres etapas. - **Trampa:** Un sistema en streaming es más difícil de construir que «terminar una etapa y pasarla a la siguiente». - **Relaciones:** Combina **Streaming STT** y **Streaming TTS**; la forma principal de cumplir el **Latency Budget**. > **La pregunta de la latencia:** «¿Cabe todo mi pipeline — transcribir, pensar, hablar — dentro de la ventana de la conversación, y las etapas hacen streaming y se solapan?» > Una conversación tiene un presupuesto de latencia ajustado, y los retrasos de las tres etapas se suman. Haz streaming y solápalas: transcribe, piensa y habla en paralelo, no en secuencia. ## 5. Turnos e interrupciones Más allá de la velocidad, la conversación natural tiene una coreografía de quién habla cuándo. Eso separa a un agente de voz que se siente real de uno torpe. ### Turn-taking — saber cuándo ha terminado el usuario > Un buen oyente distingue una pausa para respirar del final de una frase: no se mete cada vez que te tomas un momento. Un sistema de voz tiene que detectar cuándo el usuario **ha terminado de verdad de hablar**, frente a cuando solo ha hecho una pausa a mitad de una idea. Eso es el **turn-taking**: saber cuándo es el turno del sistema. Si entras demasiado pronto, cortas al usuario; si esperas demasiado, la conversación se arrastra. El juicio es sorprendentemente difícil y central para que se sienta natural. Los humanos lo hacen sin esfuerzo a partir de señales sutiles; un agente de voz tiene que aproximarlo lo bastante bien para que el ir y venir fluya en lugar de tropezar. _Diagram: Una pausa para respirar: sigue escuchando; el final de la frase: nuestro turno. Equivocarse en cualquier sentido rompe la conversación._ #### Turn-taking (detección de turnos) - **Qué es:** La decisión: ¿esta pausa es una respiración o el final del turno? - **Cómo funciona:** El sistema escucha las pausas y decide cuándo le toca. - **Ejemplo:** «Quisiera reservar… [pausa] …para el viernes»: tras la primera pausa es demasiado pronto para responder. - **Trampa:** Demasiado pronto corta al usuario; demasiado tarde hace que la conversación se arrastre. - **Relaciones:** Junto con **Barge-in**, forma el **Conversation Flow**. ### Barge-in — ceder el turno cuando te interrumpen > Cuando empiezas a hablar encima de alguien, se calla y escucha: no sigue arrasando con su frase como si no hubieras dicho nada. La conversación real incluye interrupciones. Si el usuario empieza a hablar mientras la IA habla, eso es **barge-in**, y un sistema natural se detiene, escucha y responde a la nueva entrada, en vez de terminar su respuesta ya preparada por encima de él. Soportar la interrupción es la marca de un buen agente de voz; uno malo te habla encima sin enterarse. Manejar el barge-in significa que el sistema está **siempre escuchando, incluso mientras habla**, listo para ceder la palabra en el instante en que el usuario la toma. _Diagram: El usuario interrumpe: el agente se detiene, escucha y responde en vez de hablarle encima._ #### Barge-in (manejo de interrupciones) - **Qué es:** La capacidad de callarse cuando el usuario interrumpe. - **Cómo funciona:** El sistema escucha incluso mientras habla; cuando oye una voz, se detiene y escucha. - **Ejemplo:** El agente enumera opciones, el usuario dice «¡la segunda!» y el agente cambia al instante. - **Trampa:** Sin barge-in, el agente habla encima de la gente y parece sordo. - **Relaciones:** Junto con **Turn-taking**, forma el **Conversation Flow**. ### Conversation Flow — el flujo es el producto > Un buen interlocutor y uno torpe dicen palabras parecidas: la diferencia está en el tiempo, la escucha y el ceder el paso. El flujo es la experiencia. Que un agente de voz se sienta natural o robótico depende en gran parte de esta coreografía: detectar turnos, ceder ante las interrupciones, no dejar **silencios muertos** y no hablar encima del usuario. Estos detalles del **conversation flow** importan tanto como la precisión de la respuesta, porque una respuesta correcta entregada con un tiempo torpe sigue pareciendo rota. Diseñar un producto de voz es diseñar la _conversación_, no solo las respuestas. El ritmo de quién habla cuándo es una parte de primer nivel de la experiencia, no un paso de pulido. _Diagram: Las mismas palabras: turnos fluidos frente a silencios muertos y hablarle encima al usuario._ #### Conversation Flow (el ritmo de la conversación) - **Qué es:** El ritmo de la charla: quién habla cuándo, las pausas, el ceder el paso. - **Cómo funciona:** Se construye con turn-taking, barge-in y sin silencios muertos. - **Ejemplo:** Dos agentes con respuestas idénticas: uno parece una persona, el otro un contestador automático. - **Trampa:** Una respuesta correcta con un tiempo torpe sigue pareciendo rota. - **Relaciones:** Se construye con **Turn-taking** y **Barge-in**; depende del **Latency Budget**. > **La pregunta del flujo:** «¿Sabe mi agente de voz cuándo ha terminado el usuario, se detiene cuando lo interrumpen y mantiene un ritmo natural, o corta a la gente y les habla encima?» > La voz natural necesita turn-taking (saber cuándo ha terminado el usuario) y barge-in (callarse cuando lo interrumpen). El ritmo de quién habla cuándo es tanto el producto como las propias respuestas. ## 6. Modelos realtime A la cascada clásica se suma un enfoque más nuevo: modelos que manejan la voz directamente, de extremo a extremo, y colapsan las etapas para reducir la latencia. Conviene saber hacia dónde va el campo. ### Speech-to-Speech — un modelo en lugar de tres > En vez de una cadena de «un traductor lo anota, un pensador responde, un locutor lo lee en voz alta»: una sola persona que oye, piensa y responde a la vez. Un vuelo directo en vez de dos conexiones. Una clase más nueva de modelos **realtime**, o **speech-to-speech**, maneja el audio directamente. Entra voz, sale voz, sin pasos separados de transcribir → razonar → sintetizar. Un modelo en lugar de tres en cadena: el enfoque **end-to-end**. La gran ventaja es la **latencia**: sin fronteras entre etapas no hay retrasos al pasar datos de una a otra. La segunda ventaja es que no se pierde nada en la conversión: el modelo oye _cómo_ se dijo algo, no solo las palabras, conserva el tono y la emoción, y puede responder con la expresión adecuada. _Diagram: La cascada pierde el tono en sus traspasos de texto; speech-to-speech es un solo modelo, entra voz y sale voz._ #### Speech-to-Speech (modelo realtime, end-to-end) - **Qué es:** Un modelo que recibe voz y responde directamente en voz. - **Cómo funciona:** Sin STT ni TTS separados: no hay traspasos entre etapas ni retrasos por traspasos. - **Ejemplo:** El modelo oye irritación en la voz del usuario y responde con más calma: una cascada de texto no puede verlo. - **Trampa:** El medio es una caja negra: menos visibilidad y control. - **Relaciones:** La alternativa al **Voice Pipeline**; la vía más directa hacia el **Latency Budget**. ### Pipeline vs End-to-End — una elección real > Puedes viajar en una serie de trenes y controlar cada tramo, o tomar un servicio directo que es más rápido pero te deja menos voz sobre la ruta. Compromisos distintos, ambos válidos. El **pipeline** clásico y el modelo **end-to-end** son opciones reales, cada una con su precio. El pipeline da control y flexibilidad en cada etapa (cambiar el STT, inspeccionar la transcripción, usar cualquier modelo) a costa de latencia y complejidad. El end-to-end da velocidad y naturalidad, pero menos visibilidad y control sobre el medio. Saber que existen las dos te permite elegir con intención: el pipeline transparente y flexible o el enfoque end-to-end rápido y fluido, según lo que más necesite tu producto. _Diagram: Pipeline: control y flexibilidad, pero latencia. End-to-end: velocidad y naturalidad, pero menos control._ #### Pipeline vs End-to-End (cascada o realtime) - **Qué es:** La elección de arquitectura para un producto de voz. - **Pipeline:** Cambia STT/TTS, lee la transcripción, usa cualquier modelo. Coste: latencia y más piezas móviles. - **End-to-end:** La latencia más baja, tono y emoción conservados. Coste: menos visibilidad y control. - **Cuándo usar cada uno:** ¿Necesitas control e inspección? Pipeline. ¿Necesitas velocidad y fluidez? End-to-end. - **Relaciones:** Compara el **Voice Pipeline** y **Speech-to-Speech**. > **La pregunta de la arquitectura:** «¿Necesita mi producto el control y la flexibilidad de un pipeline de tres etapas, o la menor latencia y la naturalidad de un modelo realtime end-to-end?» > Los modelos realtime reciben y entregan voz directamente: menos etapas, menos latencia, y el tono sobrevive. Pipeline frente a end-to-end es un compromiso real: control y flexibilidad, o velocidad y naturalidad. ## 7. Usarlo bien Usar bien la voz significa elegirla para las situaciones adecuadas y respetar que la latencia, más que nada, decide si se siente mágica o rota. ### Modality Fit — la voz donde corresponde > Preferirías dictar indicaciones mientras conduces y teclear un formulario largo en tu escritorio: la entrada adecuada depende por completo de la situación. La voz es potente donde encaja: **manos ocupadas**, **accesibilidad**, conversación natural, situaciones donde hablar es más rápido o más seguro que teclear. Encaja mal donde el texto es mejor: **entrada precisa**, **privacidad en público**, **revisión cuidadosa**. La habilidad está en ajustar la **modalidad** al momento, no en añadir voz porque impresione. Voz donde serviría mejor el texto es un retroceso; voz donde hablar es el acto natural es transformador. Elígela por la situación, no por la novedad. _Diagram: Voz cuando las manos están ocupadas y ayuda una conversación; texto cuando necesitas precisión, privacidad y revisión._ #### Modality Fit (cuándo corresponde la voz) - **Qué es:** Elegir voz o texto según la situación concreta. - **La voz encaja:** Manos ocupadas, conducir, accesibilidad, conversación natural. - **El texto encaja:** Entrada precisa, privacidad en público, revisión cuidadosa. - **Trampa:** Voz «porque es guay» donde el texto es mejor es un retroceso. - **Relaciones:** La primera pregunta antes que nada; sin ella, **Latency-First** no tiene sentido. ### Latency-First Design — presupuesta la latencia desde el primer día > Un chef que planifica toda la comida en torno al plato que más tarda: diseña alrededor de la restricción que manda, en vez de descubrirla al final. Como la latencia lo decide todo, diséñala **desde el principio (latency-first)**: streaming en cada etapa, un modelo end-to-end donde la velocidad sea crítica y un plan para cuando una etapa vaya lenta. Las funciones de voz que ignoran la latencia hasta tarde suelen sentirse lentas y rotas, por buenas que sean las respuestas. Trata el tiempo de respuesta como la restricción central de diseño de un producto de voz: el único número que, si falla, lo arruina todo lo demás. _Diagram: Primero el presupuesto, luego el streaming, end-to-end donde importe y un plan para una etapa lenta._ #### Latency-First Design (diseñar en torno a la latencia) - **Qué es:** El tiempo de respuesta es la restricción principal en torno a la cual se construye todo. - **Cómo funciona:** Fija el presupuesto → streaming en todas partes → end-to-end donde sea crítico → plan para una etapa lenta. - **Ejemplo:** Mide el viaje de ida y vuelta completo en el primer prototipo y rechaza las decisiones que lo rompan. - **Trampa:** La latencia descubierta al final es difícil de arreglar. - **Relaciones:** Protege el **Latency Budget**; se apoya en **Stream & Overlap** y **Speech-to-Speech**. ### Cómo encaja todo > Todo el mapa de metro a la vez: ahora ves dónde se cruzan las líneas. La cascada causa **latency stacking**, que golpea el **presupuesto**. **Streaming y overlap**, o **speech-to-speech**, lo rescatan. Cumple el presupuesto y construye un **conversation flow** con turn-taking y barge-in, y la conversación se siente viva. Y el **modality fit** decide si necesitas voz en absoluto. _Diagram: La latencia en el centro: la cascada la acumula, el streaming y speech-to-speech la recortan; junto con el conversation flow, hace que todo se sienta natural._ #### Antes de lanzar una función de voz - **¿Encaja de verdad la voz** en la situación, o serviría mejor el texto al usuario? - **¿Hace streaming cada etapa**: transcribir, pensar y hablar solapadas, no en estricta secuencia? - **¿Se siente conversacional la latencia total**, o hay un hueco incómodo? - **¿Maneja el turn-taking** (saber cuándo terminó el usuario) y el **barge-in**? - **¿Es la voz lo bastante natural** para cargar con la experiencia? - **¿Pipeline o end-to-end?** ¿He elegido la arquitectura según mis necesidades de latencia y control? #### Señales de que construyes bien la voz - Eliges voz para situaciones donde **hablar encaja de verdad**, no por novedad. - Cada etapa **hace streaming y se solapa**, así que la respuesta empieza casi al instante. - La **latencia total se siente conversacional**, sin silencios incómodos. - El agente maneja **turn-taking y barge-in**, así que el flujo se siente natural. - Elegiste **pipeline o end-to-end** a conciencia, diseñando en torno al **latency budget**. ## Chuleta: los 18 conceptos ### Pipeline - **Voice Pipeline** (cascada): STT → modelo → TTS: oído, cerebro, boca en secuencia. - **LLM Core** (el núcleo de razonamiento): El mismo modelo de texto en el medio; solo los bordes son nuevos. ### Escuchar - **Speech-to-Text** (STT, ASR): El oído: convierte el habla en texto. - **Error Propagation** (los errores bajan por la cadena): Un error de transcripción se convierte en la entrada del modelo. - **Streaming STT** (transcribir sobre la marcha): El texto está listo al final de la frase: sin pausa antes de reaccionar. ### Hablar - **Text-to-Speech** (TTS, síntesis): La boca: convierte el texto de la respuesta en voz. - **Voice Persona** (voz y entrega): El tono y el ritmo son parte del producto, no un detalle. - **Streaming TTS** (síntesis en streaming): Empieza a hablar mientras la respuesta aún se está escribiendo. ### Latencia - **Latency Budget** (ventana de tiempo de respuesta): Responde en una fracción de segundo, o parece colgado. - **Latency Stacking** (latencia acumulada): Los retrasos de las tres etapas se suman en uno. - **Stream & Overlap** (etapas en paralelo): Todas las etapas en streaming a la vez: la forma principal de llegar a tiempo. ### Turnos - **Turn-taking** (detección de turnos): Distingue una pausa para respirar del final de una frase. - **Barge-in** (manejo de interrupciones): Te interrumpen: para, escucha, responde. - **Conversation Flow** (ritmo de la charla): Quién habla cuándo es tanto el producto como las respuestas. ### Realtime - **Speech-to-Speech** (realtime, end-to-end): Un modelo: entra voz, sale voz. Menos latencia, el tono sobrevive. - **Pipeline vs End-to-End** (elección de arquitectura): Control y flexibilidad frente a velocidad y naturalidad. ### Usarlo bien - **Modality Fit** (cuándo corresponde la voz): Voz donde hablar es natural; texto donde importa la precisión. - **Latency-First Design** (latencia desde el primer día): Construye todo en torno al presupuesto de tiempo de respuesta. > La voz significa escuchar, pensar y hablar lo bastante rápido para que parezca una conversación. Haz streaming y solapa el pipeline, maneja el turn-taking y las interrupciones, elige pipeline o end-to-end a conciencia, y trata la latencia como la restricción a la que se pliega todo lo demás. Fin del curso exprés · 7 capítulos · 18 conceptos Después viene la práctica: construye el bucle de voz más simple (voz a texto, una respuesta del modelo, texto a voz) y mide todo el viaje de ida y vuelta. Luego haz que cada etapa haga streaming y observa cómo se desploma el retraso que se siente. Por último, intenta interrumpirlo a mitad de respuesta y comprueba si se detiene y escucha. El reto se vuelve real en el momento en que sientes cómo un hueco de un segundo rompe la ilusión de conversación. Pero sostén una idea por encima del resto: la voz es el mismo modelo que piensa, con un oído y una boca alrededor, y toda la dificultad está en hacer las tres cosas lo bastante rápido para que parezca vivo. Haz streaming de todo, cuida los turnos y protege el presupuesto de latencia: eso es lo que hace que hablar con una IA se sienta como hablar, no como esperar.