# Modelos que ven y oyen, no solo leen Curso exprés sobre IA multimodal: modelos que aceptan imágenes, audio y vídeo, no solo texto. 20 conceptos —modality, mixed input, vision encoder, OCR, scene understanding, structured output, text-to-image, visual prompt injection, image token cost y más—, cada uno con su nombre en inglés, un diagrama, un ejemplo y una ficha. La idea central: la misma ingeniería que aprendiste para el texto, más nuevos poderes y nuevas trampas. Al final, una hoja de referencia con todos los conceptos. - **Author:** Fedor Chishchin - **Level:** intermediate - **Reading time:** ~30 minutos de lectura - **Published:** 2026-06-13 - **Source:** https://fedorthinks.com/es/learn/multimodal-ai-express --- ## 1. Más allá del texto Lo primero que hay que captar es simplemente qué cambió: los modelos dejaron de estar limitados a leer y escribir palabras. Una vez que un modelo puede asimilar imágenes y sonido, se abre todo un nuevo abanico de problemas. ### El mapa: 20 conceptos en siete grupos > Un mapa de metro: primero ves toda la red y luego la recorres estación por estación. Primero, tres **fundamentos**: qué es una modality, el mixed input y por qué la ingeniería sigue siendo la misma. Después, seis grupos, uno por capítulo: cómo un modelo **ve**, qué **desbloquea**, cómo llevarlo **a tu producto**, **generar** otras modalidades, las nuevas **trampas** y **usarlo bien**. Cada concepto que sigue tiene la misma forma: su **nombre en inglés** (recuérdalo: es el término), una imagen de la vida real, un **diagrama** y una **ficha** con campos como _qué es_, _idea_, _ejemplo_, _trampa_ y _relaciones_. _Diagram: Arriba, los fundamentos; debajo, los seis grupos que siguen los capítulos 2 a 7._ ### Modality / Multimodal — un tipo de dato y un modelo que maneja varios > Una persona que sabe leer, pero también ver, escuchar y hablar: cada sentido es un canal distinto para asimilar el mundo, no un cerebro distinto. Una **modality** es un tipo de dato: texto, imágenes, audio, vídeo. Un modelo que maneja más de uno es **multimodal**: puede tomar una imagen _y_ texto juntos, o producir habla a partir de una descripción. Durante años, los modelos fueron solo de texto: leer palabras, escribir palabras. El cambio es que un solo modelo puede ahora percibir entre modalidades, como una persona usa varios sentidos, en lugar de estar sordo y ciego a todo salvo al texto. _Diagram: Texto, imagen, audio, vídeo: distintas modalidades fluyen hacia un único modelo multimodal._ #### Multimodal Model (modality) - **Qué es:** Un modelo que trabaja con varios tipos de datos: texto, imágenes, audio, vídeo. - **Modality:** Un tipo de dato: un «canal», como un sentido humano. - **Ejemplo:** Describir una foto, leer un gráfico, transcribir una reunión, responder una pregunta sobre una captura de pantalla. - **Relaciones:** Hace posible el **mixed input**; todo lo demás en este curso parte de esta capacidad. ### Mixed Input — una imagen y palabras en una sola pregunta > Entregarle a alguien una foto y preguntar «¿qué tiene de malo esto?»: mira y responde con palabras. Una pregunta, dos tipos de entrada, una respuesta. El poder de lo multimodal no es solo manejar imágenes _en lugar_ de texto, sino manejarlas _juntas_. Esto es el **mixed input**: muéstrale al modelo una captura de pantalla y hazle una pregunta sobre ella, dale un gráfico y una petición escrita, envía una foto con instrucciones. El modelo razona sobre todo ello a la vez. Esta combinación es lo que hace a lo multimodal genuinamente nuevo: la entrada ya no es un solo canal, así que tus prompts pueden mezclar palabras e imágenes como lo hace una conversación real. _Diagram: Una captura y una pregunta entran juntas: el modelo razona sobre ambas y responde con palabras._ #### Mixed Input (entrada intercalada (interleaved input)) - **Qué es:** Una imagen (o audio) y texto en la misma petición. - **Idea:** El modelo razona sobre todas las partes de la entrada a la vez, no por turnos. - **Ejemplo:** Una captura de un error + «¿por qué?»; un gráfico + «¿cuál es la tendencia?». - **Relaciones:** En un producto es una **multimodal request**: el ensamblado de contexto de siempre, con una imagen dentro. ### Same Engineering — las habilidades de texto siguen aplicándose > Aprender a ver no te hace olvidar cómo leer: el nuevo sentido se suma a lo que ya podías hacer, no lo reemplaza. Todo lo que aprendiste para el texto —**prompting**, **contexto**, **structured output**, **grounding**, **evals**— sigue aplicándose a lo multimodal. La imagen o el audio son solo otra parte de la entrada que ensamblas en el contexto; el modelo sigue produciendo una salida que tú restringes, validas y mides. Así que lo multimodal no es una disciplina aparte que reaprender desde cero; es la misma ingeniería con un tipo extra de entrada y de salida. Traslada tus habilidades de texto y añade encima los detalles propios de la nueva modalidad. _Diagram: Texto e imagen pasan por las mismas disciplinas: prompting, contexto, esquema, grounding, evals._ #### Same Engineering (las habilidades se trasladan) - **Idea:** Una imagen es una entrada más; toda la ingeniería de texto se le aplica. - **Ejemplo:** El mismo esquema JSON, la misma validación, los mismos evals; solo que ahora entra una foto. - **Trampa:** Pensar «esto es algo totalmente distinto» y abandonar prácticas probadas. - **Relaciones:** Encima vienen los **modality edges**: inyección, coste, límites de percepción. > **La pregunta de encuadre:** «¿Implica esta tarea algo más que palabras —una imagen, un gráfico, audio— que el modelo podría percibir directamente, en lugar de que yo lo fuerce todo a texto primero?» > Una modality es un tipo de dato; un modelo multimodal maneja varios —imágenes y audio, no solo texto— y puede mezclarlos en una sola entrada. Todas tus habilidades de texto siguen aplicándose, con un nuevo sentido añadido. ## 2. Cómo ve un modelo Conviene saber, a grandes rasgos, cómo un modelo asimila una imagen: desmitifica lo que lo multimodal puede y no puede hacer, y por qué a veces malinterpreta lo que tiene delante. ### Shared Representation — una imagen se convierte en el mismo tipo de tokens > Un traductor que convierte tanto las palabras habladas como la lengua de signos en las mismas notas escritas: entradas distintas, convertidas a una forma común con la que trabaja el cerebro. Por debajo, un modelo multimodal convierte una imagen en el mismo tipo de representación interna que usa para el texto. Un **vision encoder** transforma los píxeles en una secuencia de **image tokens**, mientras el texto se divide en text tokens como siempre. Ambas secuencias aterrizan en una **shared representation**, que es justo lo que permite al modelo responder una pregunta de texto sobre una imagen: ambas entradas se han traducido a un lenguaje común dentro del modelo. No necesitas los detalles; basta saber que imagen y texto se vuelven comparables. _Diagram: Píxeles mediante un vision encoder, palabras mediante un tokenizer: para el modelo todo es una sola secuencia._ #### Shared Representation (vision encoder, image tokens) - **Qué es:** Imagen y texto se traducen a una forma interna única: una secuencia. - **Cómo funciona:** Vision encoder: píxeles → image tokens; el modelo los ve entonces junto a las palabras. - **Por qué importa:** Así se conecta una pregunta en palabras con lo que hay en la imagen. - **Relaciones:** Los image tokens cuestan dinero: ver **image token cost**. ### OCR vs Scene Understanding — leer el texto ≠ entender la escena > Puedes leer la etiqueta de un frasco y, por separado, entender para qué sirve el frasco: dos actos distintos, aunque ambos impliquen mirar el mismo objeto. Se confunden dos capacidades distintas. Leer el **texto dentro de una imagen** —un cartel, un documento, una captura— es más o menos lo que antes requería una herramienta de **OCR (reconocimiento óptico de caracteres)**; un modelo multimodal puede hacerlo directamente. La **scene understanding** —qué está pasando, qué objetos hay, qué significa un gráfico— es otra cosa. Un buen modelo multimodal hace ambas, pero conviene distinguir «extrae las palabras de esta imagen» de «interpreta lo que muestra esta imagen», porque son peticiones distintas con fiabilidad distinta. _Diagram: Una imagen, dos peticiones: el OCR extrae el texto exacto; la scene understanding, el significado._ #### OCR vs Scene Understanding (leer texto vs interpretar) - **OCR:** Extraer las palabras y los números escritos en la imagen. - **Escena:** Interpretarla: qué se ve, qué está pasando, qué significa el gráfico. - **Ejemplo:** «¿Qué dice la etiqueta?»: OCR. «¿Qué es este objeto y para qué sirve?»: escena. - **Trampa:** Peticiones distintas, fiabilidad distinta: ten claro cuál de las dos haces. - **Relaciones:** Ambas chocan con los **perception limits**. ### Perception Limits — ver tiene límites > Hasta una vista aguda pasa por alto la letra pequeña, juzga mal una foto borrosa o malinterpreta un diagrama recargado: ver es poderoso, pero no infalible. La visión de un modelo es impresionante pero imperfecta: son sus **perception limits**. Puede leer mal texto pequeño o de baja calidad, pasar por alto detalles en una imagen cargada, contar mal objetos o describir con seguridad algo sutil de forma errónea. La percepción es realmente útil, pero no es un instrumento preciso: trata lo que el modelo «ve» como una interpretación sólida, no como una lectura garantizada. Es tentador suponer que, como el modelo _puede_ ver, ve correctamente; igual que sus respuestas de texto, las visuales pueden estar equivocadas con total seguridad. _Diagram: Letra pequeña, desenfoque, desorden, muchos objetos... y a veces un error cometido con seguridad._ #### Perception Limits (límites de la visión del modelo) - **Qué es:** La visión del modelo es una interpretación sólida, no una lectura garantizada. - **Dónde falla:** Texto pequeño o de mala calidad, imágenes recargadas, contar objetos, detalles sutiles. - **Trampa:** «Puede ver» no significa «ve correctamente». - **Relaciones:** La raíz de la **confident misreading**; se maneja con **validation & grounding**. > **La pregunta de la percepción:** «¿Le pido al modelo que lea texto en una imagen o que interprete una escena, y qué fiabilidad necesita la percepción para que esta tarea sea segura?» > Un modelo convierte una imagen en la misma forma interna que el texto, así que puede razonar sobre ambos juntos. Leer texto en una imagen difiere de entender la escena, y la percepción, aunque poderosa, puede estar equivocada con confianza. ## 3. Qué desbloquea Lo multimodal importa por la variedad de problemas reales que permite resolver. Ver los usos concretos muestra por qué es más que una novedad. ### Document Understanding — documentos, formularios, capturas > Un asistente que echa un vistazo a un formulario en papel o a una pantalla y extrae justo lo que necesitas, en lugar de que tú lo teclees todo a mano. Un uso práctico enorme es la **document understanding**: leer documentos, formularios y capturas de pantalla —extraer datos de una factura, entender el diseño de un PDF, responder preguntas sobre lo que hay en una pantalla—. Antes de lo multimodal, esto exigía herramientas frágiles y especializadas; ahora un modelo puede mirar el documento y trabajar con él directamente, estructura incluida. Siempre que la información viva en un formato visual y no en texto limpio, lo multimodal convierte «una persona tiene que leer y reteclear esto» en algo que un modelo puede manejar. _Diagram: Factura, formulario, captura: el modelo los lee, con su diseño, y devuelve datos._ #### Document Understanding (lectura de documentos) - **Problema:** La información está encerrada en facturas, formularios y capturas: una persona la lee y la reteclea. - **Idea:** El modelo mira el documento y extrae lo necesario, con su diseño y todo. - **Ejemplo:** Sacar el total, la fecha y el proveedor de una factura en PDF. - **Antes:** Herramientas frágiles y especializadas para cada formato. - **Relaciones:** Pide el resultado como **structured output** y compruébalo con **validation**. ### Visual Analysis — imágenes y gráficos > Mostrarle un gráfico a un experto y preguntarle qué significa: lee lo visual y explica la tendencia, sin necesidad de hoja de cálculo. Los modelos multimodales pueden hacer **visual analysis**: describir una foto, leer e interpretar un gráfico o un diagrama, detectar qué hay en una imagen, comparar dos imágenes. Puedes darle al modelo un gráfico de ventas y pedirle la tendencia, la foto de un producto y preguntar qué falla, un diagrama y pedirle que lo explique. Esto convierte las imágenes, antes interpretables solo por humanos, en entradas sobre las que tu software puede razonar, y abre cualquier flujo de trabajo donde la información relevante sea visual. _Diagram: Gráfico → tendencia, foto de producto → defecto, diagrama → una explicación sencilla._ #### Visual Analysis (análisis de imágenes y gráficos) - **Qué es:** Describir, explicar y comparar lo que se muestra. - **Ejemplo:** Gráfico de ventas → «¿cuál es la tendencia?»; foto de producto → «¿qué falla?»; diagrama → «explícalo». - **Trampa:** Interpretar es **scene understanding**: menos preciso que el OCR. - **Relaciones:** Abre flujos de trabajo donde el significado vive en una imagen. ### Accessibility & Reach — a quién y qué puedes atender > Un guía que describe la escena en voz alta a alguien que no la ve: convierte un mundo visual en palabras que cualquiera puede usar. Lo multimodal también amplía a quién y qué puede atender tu producto: la **accessibility** y el **reach**. Describir imágenes para usuarios ciegos o con baja visión, dejar que la gente apunte una cámara en vez de escribir, trabajar con contenido que nunca estuvo en forma de texto. La misma capacidad que lee un gráfico puede narrar una foto o poner subtítulos a un vídeo. Más allá de cualquier función concreta, lo multimodal amplía la _superficie_ de lo que un producto de IA puede aceptar como entrada: de «escribe tu pregunta» a «muéstrame, cuéntame o reprodúceme lo que quieres decir». _Diagram: Más allá de «escribir» llegan «mostrar», «contar» y «reproducir», y las imágenes descritas para quien no puede verlas._ #### Accessibility & Reach (una superficie de entrada más amplia) - **Qué es:** Una superficie de entrada más amplia: mostrar, contar, reproducir; no solo escribir. - **Ejemplo:** Descripciones de fotos para usuarios con baja visión; apuntar una cámara en vez de escribir; subtítulos de vídeo. - **Por qué importa:** El producto atiende a personas y contenidos a los que antes no llegaba. - **Relaciones:** La misma capacidad que el **visual analysis**, dirigida a las personas. > **La pregunta del desbloqueo:** «¿Hay información en mi problema atrapada en forma visual o de audio —un documento, un gráfico, una foto— que lo multimodal permitiría al modelo usar directamente?» > Lo multimodal desbloquea leer documentos y capturas, analizar imágenes y gráficos, y ampliar el alcance mediante la accesibilidad: convierte información visual y de audio en algo sobre lo que el software puede razonar. ## 4. Lo multimodal en tu producto Construir con lo multimodal es, sobre todo, la ingeniería que ya conoces, con imágenes o audio añadidos a la entrada. Las disciplinas conocidas se trasladan tal cual. ### Multimodal Request — envía la imagen junto al texto > Incluir una foto con tu pregunta escrita en el mismo mensaje: quien lo recibe ve ambas y responde a todo de una vez. En la práctica, construyes una **multimodal request** casi como una de texto: ensamblas el contexto, pero ahora puede incluir una imagen (o audio) junto a tus instrucciones de texto. «Aquí hay una captura, y esto es lo que quiero saber sobre ella» llega al modelo como una única entrada combinada. Esto es simplemente **context engineering** con una entrada más rica: la imagen es una cosa más que metes en la ventana, deliberadamente, junto a las palabras. La mentalidad de ensamblado que ya tienes se aplica directamente. _Diagram: Instrucciones, una imagen y una pregunta en la ventana de contexto: el modelo las recibe como una sola entrada._ #### Multimodal Request (context engineering con una imagen) - **Idea:** Ensambla el contexto como siempre, pero mete en él una imagen o audio. - **Ejemplo:** Instrucciones + captura + «¿qué falla aquí?», en una sola petición. - **Trampa:** Meter una imagen «por si acaso» es ruido en el contexto y coste de más. - **Relaciones:** La implementación del **mixed input**; se paga según el **image token cost**. ### Structured Output — caos a la entrada, datos limpios a la salida > Alguien que mira un recibo desordenado y anota el total, la fecha y el proveedor en casillas ordenadas y etiquetadas: caos a la entrada, datos limpios a la salida. Cuando usas lo multimodal para extraer información —sacar campos de un documento, clasificar una imagen, leer un gráfico— sigues queriendo **structured output**: pídele al modelo que devuelva datos limpios, con la forma de un esquema, que tu código pueda usar, no prosa. Un modelo multimodal que lee un recibo debería entregarte `{total, date, vendor}`, no un párrafo. La misma disciplina de structured output que convierte un modelo de texto en un componente fiable hace lo mismo con un modelo de visión. La modalidad es nueva; el puente hacia tu código no. _Diagram: Foto de un recibo → datos con forma de esquema que tu código acepta. Un párrafo de prosa que tu código no puede usar._ #### Structured Output (datos con forma de esquema) - **Problema:** El modelo describe la imagen en prosa: tu código no puede hacer nada con eso. - **Idea:** Pide los datos en un esquema: campos, tipos, forma. - **Ejemplo:** Recibo → `{total, date, vendor}`, no un párrafo. - **Cuándo usarlo:** Siempre que extraigas datos de una imagen. - **Relaciones:** Siguiente paso: **validation & grounding** de esos campos. ### Validation & Grounding — compruébalo, como siempre > Compruebas dos veces lo que alguien te cuenta tras un vistazo rápido, sobre todo los detalles importantes: una segunda mirada a lo que cuenta. Como la percepción del modelo puede fallar, aplicas la misma disciplina de fiabilidad: **valida** los datos extraídos, **ancla** (ground) las respuestas en lo que realmente se puede verificar y mantén a un humano en las lecturas de alto riesgo. Que un modelo lea mal un número de una factura es la versión visual de una **hallucination**, así que tratas su salida visual como no fiable hasta que se compruebe, exactamente como harías con su texto. La lección de todos los demás cursos se mantiene: el modelo es un componente falible, y una nueva modalidad no cambia eso. _Diagram: Lectura del modelo → comprobaciones de esquema y reglas → contraste con la fuente → un humano en lo importante → uso._ #### Validation & Grounding (verifica antes de confiar) - **Problema:** El modelo puede leer mal un número, y sonar seguro al hacerlo. - **Idea:** La salida no es fiable hasta comprobarla: esquema, reglas, fuente, humano. - **Ejemplo:** El total de la factura no coincide con la suma de las líneas → reintentar o pasar a un humano. - **Relaciones:** La respuesta a los **perception limits** y a la **confident misreading**. > **La pregunta del producto:** «¿Trato la imagen como una entrada más de la ingeniería —ensamblada en el contexto, devuelta como structured output, validada— igual que trataría el texto?» > Construir con lo multimodal es context engineering con una entrada más rica: envía la imagen junto al texto, sigue pidiendo structured output y valida y ancla el resultado: el modelo es un componente falible, sea cual sea la modalidad. ## 5. Generar entre modalidades Hasta ahora hemos hablado de modelos que asimilan imágenes y audio. La dirección contraria —modelos que los producen— es un área enorme por sí misma, y conviene nombrarla para saber dónde encaja. ### Generation — text-to-image, text-to-speech y más > Un artista que pinta lo que describes, o un actor de voz que dice tu guion: la generación es la imagen especular de la percepción. Así como los modelos pueden asimilar imágenes y sonido, otros modelos los **generan**: los modelos **text-to-image** pintan una imagen a partir de una descripción, el **text-to-speech (TTS)** convierte palabras en una voz hablada, y hay modelos para música, vídeo y más. La generación es el reverso de la comprensión: otra modalidad como salida en vez de entrada. Es un campo vastísimo por sí solo, pero lo clave es que «multimodal» abarca ambas direcciones: un modelo puede percibir otras modalidades, y un modelo puede producirlas. _Diagram: Arriba, percepción: entra una imagen o un sonido. Abajo, generación: sale una imagen, voz, música o vídeo._ #### Generation (text-to-image, text-to-speech (TTS)) - **Qué es:** Un modelo produce otra modalidad: una imagen, voz, música, vídeo. - **Ejemplo:** Una ilustración a partir de una descripción; voz para un producto de voz. - **Idea:** El espejo de la percepción: la modalidad es la salida, no la entrada. - **Relaciones:** Funciona con el bucle **brief → draft → review**; recurre a ella **deliberadamente**. ### Brief → Draft → Review — la misma postura de ingeniería > Diriges a un artista con un brief claro y luego revisas el resultado antes de usarlo: el mismo bucle, produzca lo que produzca. Construir con modalidades generativas sigue la misma postura que todo lo demás, el bucle **brief → draft → review**: una instrucción clara (el prompt), una salida que tratas como un borrador a revisar y un humano que controla su uso. Una imagen o una voz generada es el intento seguro del modelo, que se revisa y se edita, no algo que se publica a ciegas: la disciplina de diseño de producto se aplica tanto si la salida es texto como si es una imagen. No necesitas un manual totalmente nuevo; la misma postura de «componente falible, tú mantienes el control» se traslada. _Diagram: Brief → generar → borrador → revisión humana → uso. ¿Aún no está bien? Edita el brief y vuelve a empezar._ #### Brief → Draft → Review (el bucle de generación) - **Idea:** Lo generado es un borrador; un humano lo revisa antes de usarlo. - **Ejemplo:** Generar una ilustración, mirarla, afinar el prompt, generar de nuevo. - **Trampa:** Publicar una imagen o una voz «tal cual», sin revisar. - **Relaciones:** La misma postura que **same engineering** para el texto. ### Deliberate Generation — saber que existe y recurrir a ella a propósito > No encargas un cuadro a medida para un trabajo que pide una frase: usas el medio que la tarea realmente requiere. Las modalidades generativas son poderosas para el trabajo adecuado —ilustraciones, voz sintetizada para un producto de voz, vídeo—, pero son una **elección deliberada**, no un valor por defecto que esparcir por todas partes. Recurre a la generación de imagen o audio cuando la salida realmente necesite estar en esa modalidad, y quédate con el texto cuando el texto cumpla. Saber que toda esta capacidad existe, y dónde encaja, basta por ahora: lo importante es que lo multimodal es una calle de doble sentido, que percibe y produce entre sentidos. _Diagram: ¿La salida realmente necesita ser una imagen o una voz? Sí: genera. No: quédate con el texto._ #### Deliberate Generation (genera solo cuando haga falta) - **Pregunta:** ¿La salida realmente necesita otra modalidad? - **Sí:** Ilustraciones, voz para un producto de voz, vídeo. - **No:** El texto es más limpio, barato y rápido: quédate con él. - **Relaciones:** Un caso especial de **channel fit**: para la salida en lugar de la entrada. > **La pregunta de la generación:** «¿Esta tarea necesita realmente una salida en otra modalidad —una imagen, una voz— o estoy recurriendo a la generación cuando el texto bastaría?» > Lo multimodal funciona en ambos sentidos: los modelos también generan imágenes, voz y más. Se aplica la misma postura de ingeniería —un brief claro, un borrador revisado, un humano al mando— y recurres a ello solo cuando la salida de verdad necesita esa modalidad. ## 6. Las nuevas trampas Lo multimodal añade nuevos modos de fallo a los ya conocidos. Unas pocas trampas concretas atrapan a los equipos que tratan las imágenes como si fueran tan seguras y baratas como el texto. ### Visual Prompt Injection — un ataque escondido en una imagen > Una fotografía con instrucciones escritas que el ojo apenas nota pero la máquina lee a la perfección: un mensaje que te cuelan delante de tus narices. Un modelo multimodal lee _todo_ lo que hay en una imagen, incluido el texto que una persona podría pasar por alto. Eso convierte a las imágenes en un canal para el **prompt injection**: un atacante puede esconder instrucciones en una imagen —texto tenue, incrustado en los píxeles— que el modelo sigue obedientemente. Es la **visual prompt injection**, la versión visual del problema de inyección del curso de seguridad, y es más perversa porque no puedes ver el ataque con facilidad. Trata cualquier imagen que el modelo ingiera como entrada no fiable que podría llevar instrucciones, no como simples píxeles inocentes. _Diagram: Un texto tenue en una foto se le escapa a una persona, pero el modelo lo lee y lo sigue. La defensa: tratar la imagen como no fiable._ #### Visual Prompt Injection (inyección a través de imágenes) - **Qué es:** Instrucciones escondidas en una imagen que el modelo sigue. - **Ejemplo:** Un tenue «ignora las instrucciones anteriores» en la foto de un producto. - **Por qué es peor:** El ataque es difícil de ver: una persona no lo nota. - **Defensa:** Toda imagen es una entrada no fiable, no «solo píxeles». - **Relaciones:** La forma visual del **prompt injection** del curso de seguridad. ### Image Token Cost — una imagen cuesta más que mil palabras > Enviar una fotografía en lugar de una frase: mucho más que transmitir y procesar, y la factura lo refleja. Para el contador, una imagen vale mucho más que mil palabras: es el **image token cost**. Procesar una consume muchos más tokens que un prompt de texto corto, así que las llamadas multimodales pueden ser bastante más caras. Una función que envía imágenes de alta resolución en cada petición puede generar una factura sorprendente. La disciplina de la economía de modelos se aplica aquí con más fuerza: sé deliberado con el tamaño de la imagen y con la frecuencia con que la envías, porque el coste de «incluye la imagen sin más» es mucho mayor que el de incluir una línea de texto. _Diagram: Un prompt corto, una imagen, una imagen de alta resolución, la misma imagen en cada llamada: la factura crece._ #### Image Token Cost (las imágenes son una entrada cara) - **Qué es:** Una imagen consume muchos más tokens que un prompt de texto corto. - **Ejemplo:** Una captura en alta resolución en cada petición: una factura sorprendente. - **Cómo reducirlo:** Baja la resolución; envía la imagen solo cuando haga falta. - **Relaciones:** Se sigue de la **shared representation**: una imagen = muchos tokens. ### Confident Misreading — el fallo silencioso > Alguien que echa un vistazo a un cartel borroso y te dice con seguridad el número equivocado: rápido, seguro y errado. El conocido problema de la hallucination toma una forma visual, la **confident misreading**: un modelo puede leer mal una cifra con seguridad, contar mal elementos o describir algo que no está en la imagen, y sonar igual de seguro que cuando acierta. Como la entrada es visual, estos errores pueden ser más difíciles de detectar que un desliz textual. Así que, en todo lo que una mala lectura importe —un número de un documento, una imagen médica, una comprobación de seguridad—, verificas, mantienes a un humano en el circuito y nunca das por hecho que «lo puede ver» significa «lo ha leído bien». La seguridad del modelo no es más fiable con las imágenes que con el texto. _Diagram: El cartel dice «8», el modelo dice con seguridad «3». La defensa: verificar, un humano en el circuito, sin suposiciones._ #### Confident Misreading (visual hallucination) - **Qué es:** El modelo lee mal o describe mal una imagen, y suena seguro. - **Ejemplo:** La cifra equivocada de una factura, el recuento equivocado, un detalle que no está. - **Por qué pasa inadvertido:** Un error visual es más difícil de detectar que un desliz textual. - **Defensa:** Verificar, un humano en las lecturas de alto riesgo, nada de «pero lo puede ver». - **Relaciones:** Consecuencia de los **perception limits**; se maneja con **validation & grounding**. > **La pregunta de las trampas:** «¿Podría esta imagen llevar una inyección oculta, estoy contando con su mayor coste y he dado por hecho que el modelo la lee bien cuando podría estar equivocado con seguridad?» > Las nuevas trampas de lo multimodal: las imágenes pueden colar prompt injections, cuestan muchos más tokens que el texto y el modelo puede leerlas mal con la misma seguridad con que alucina en texto. Trata las imágenes como no fiables, caras y leídas de forma falible. ## 7. Usarlo bien Usar bien lo multimodal es, sobre todo, aplicar todo lo que ya sabes a una entrada más rica, respetando los costes y riesgos propios de la nueva modalidad. ### Channel Fit — ajusta el canal a la tarea > Sacas la cámara cuando el problema es algo que mirar, y te quedas con el teclado cuando es algo que decir: ajustas el canal a la tarea. La decisión es sencilla, el **channel fit**: usa lo multimodal cuando la información relevante realmente vive en una imagen o en audio —un documento que leer, una escena que interpretar, un habla que entender— en lugar de forzarla primero a texto o de evitarlo cuando ayudaría. Pero no recurras a ello por reflejo donde el texto es más limpio, rápido y barato. La habilidad está en reconocer cuándo un problema es de verdad visual o auditivo, y dejar que el modelo lo perciba directamente, en vez de ignorar esa capacidad o abusar de ella. _Diagram: ¿Dónde vive el significado? En una imagen o en audio: multimodal. En palabras: texto._ #### Channel Fit (el canal adecuado para la tarea) - **Pregunta:** ¿Dónde vive el significado: en una imagen, en el sonido o en palabras? - **Ejemplo:** Una factura escaneada: multimodal. Una pregunta que el usuario escribe de todos modos: texto. - **Trampa:** Dos errores: ignorar la capacidad y abusar de ella. - **Relaciones:** La misma idea para la salida es la **deliberate generation**. ### Modality Edges — todas las disciplinas, más las propias de la modalidad > Un piloto habilitado para una nueva aeronave aporta todas sus habilidades y añade las particularidades del nuevo avión: no empieza de cero, sino que se amplía. Lo multimodal no es motivo para olvidar lo que aprendiste. Ensambla la imagen en el contexto deliberadamente, pide structured output, valida y ancla el resultado, vigila el coste y trata las imágenes como no fiables. Luego añade los **modality edges**: lo específico de esta modalidad: inyección visual, mayor coste de tokens, límites de percepción. Todo lo de los cursos de texto sigue rigiendo; lo multimodal solo lo amplía con un nuevo tipo de entrada y su propio puñado de trampas. Construye sobre lo que sabes y aprende solo los nuevos bordes. _Diagram: La base son las disciplinas de texto. Encima, tres bordes nuevos: inyección, coste, límites de percepción._ #### Modality Edges (bordes nuevos sobre disciplinas viejas) - **Idea:** Las disciplinas de siempre + lo específico de la modalidad, no todo desde cero. - **Lo viejo:** Contexto, structured output, validación, grounding, coste. - **Lo nuevo:** Inyección visual, image token cost, límites de percepción. - **Relaciones:** Une **same engineering** con todas las **trampas** del capítulo 6. ### Cómo se conectan los conceptos > Un ingeniero con experiencia que gana un sentido nuevo: todo lo que podía hacer se queda y, encima, llegan nuevos poderes y nuevas formas de equivocarse. Un **multimodal model** **percibe** imágenes y sonido (mediante una **shared representation**) y los **produce** (**generation**). La percepción desbloquea **usos** —documentos, gráficos, accesibilidad—, pero tiene **límites** y trae **trampas**: inyección, coste, malas lecturas con seguridad. Ambos se mantienen a raya con la **same engineering**: multimodal request, structured output, validation & grounding. _Diagram: El modelo percibe y produce; los usos se construyen con la misma ingeniería, y esta protege los límites y las trampas._ #### Antes de lanzar una función multimodal - **¿La información es de verdad visual o audio** —o estoy usando lo multimodal donde el texto es más limpio? - **¿Estoy ensamblando la imagen en el contexto** deliberadamente, como cualquier otra entrada? - **¿Estoy pidiendo structured output** al extraer datos de una imagen? - **¿Podría la imagen llevar una inyección oculta** —la estoy tratando como no fiable? - **¿He contemplado el coste de tokens mucho mayor** de las imágenes? - **¿Estoy validando la percepción** y manteniendo a un humano en las lecturas de alto riesgo? #### Señales de que usas bien lo multimodal - Recurres a ello cuando la información es de verdad **visual o audio**, no por reflejo. - **Ensamblas la imagen en el contexto** y pides **structured output** al extraer datos. - Tratas las imágenes como **no fiables**, alerta a la **visual injection**. - Contemplas el **mayor coste** y los **límites de percepción**. - **Validas y mantienes a un humano** en las lecturas donde una mala lectura importaría. ## Hoja de referencia: todos los conceptos del curso ### Fundamentos - **Modality / Multimodal Model** (un tipo de dato, un modelo para varios): Una modality es un tipo de dato; un modelo multimodal maneja varios. - **Mixed Input** (entrada intercalada): Imagen y texto en una sola petición: el modelo razona sobre ambos. - **Same Engineering** (las habilidades se trasladan): Toda la ingeniería de texto sigue aplicándose a las imágenes. ### Cómo ve un modelo - **Shared Representation** (vision encoder, image tokens): Los píxeles se vuelven tokens en un mismo espacio con las palabras. - **OCR vs Scene Understanding** (texto vs escena): Leer las palabras de una imagen no es lo mismo que entenderla. - **Perception Limits** (límites de la visión del modelo): La visión es una interpretación sólida, no una garantía. ### Qué desbloquea - **Document Understanding** (lectura de documentos): Facturas, formularios, capturas: sin reteclear. - **Visual Analysis** (imágenes y gráficos): Una tendencia a partir de un gráfico, un defecto en una foto, un diagrama explicado. - **Accessibility & Reach** (superficie de entrada más amplia): Mostrar, contar, reproducir: no solo escribir. ### En tu producto - **Multimodal Request** (context engineering con una imagen): La imagen es una parte más del contexto ensamblado. - **Structured Output** (datos con forma de esquema): Datos en un esquema, no prosa. - **Validation & Grounding** (verifica antes de confiar): La salida visual no es fiable hasta que se comprueba. ### Generación - **Generation** (text-to-image, TTS): Un modelo produce una imagen, voz, música, vídeo. - **Brief → Draft → Review** (el bucle de generación): Lo generado es un borrador; decide un humano. - **Deliberate Generation** (genera solo cuando haga falta): Genera solo cuando la salida de verdad necesite esa modalidad. ### Trampas - **Visual Prompt Injection** (inyección a través de imágenes): Instrucciones escondidas en una imagen. - **Image Token Cost** (las imágenes son caras): Una imagen cuesta muchos más tokens que el texto. - **Confident Misreading** (visual hallucination): Una lectura errónea, entregada con seguridad. ### Usarlo bien - **Channel Fit** (el canal adecuado): Multimodal cuando el significado vive en una imagen o en el sonido. - **Modality Edges** (los bordes nuevos): Las disciplinas de siempre más inyección, coste y límites de percepción. > Lo multimodal extiende tu ingeniería de texto a imágenes y audio: recurre a ello cuando la información sea visual, traslada todas las disciplinas —contexto, structured output, validación, coste— y respeta las nuevas trampas de inyección, coste y malas lecturas con seguridad. Fin del curso exprés · 7 capítulos · 20 conceptos Ahora viene la práctica: toma una tarea donde la información esté atascada en forma visual —una captura de pantalla, un recibo, un gráfico— y entrégale la imagen a un modelo multimodal, pidiendo structured output que puedas usar. Luego prueba sus límites: emborrona la imagen, añade letra pequeña y observa dónde malinterpreta. Por último, trata una imagen como hostil y comprueba si un texto oculto podría dirigirla. La capacidad encaja en el momento en que el modelo lee un documento que habrías tenido que reteclear. Pero mantén una idea por encima del resto: lo multimodal deja a un modelo percibir más que palabras, pero por debajo es el mismo componente falible; traslada todo lo que sabes, y respeta que ver, como leer, puede estar equivocado con confianza.