El mapa: 20 conceptos en siete grupos

Un mapa de metro: primero ves toda la red y luego la recorres estación por estación.

Primero, tres fundamentos: qué es una modality, el mixed input y por qué la ingeniería sigue siendo la misma. Después, seis grupos, uno por capítulo: cómo un modelo ve, qué desbloquea, cómo llevarlo a tu producto, generar otras modalidades, las nuevas trampas y usarlo bien.

Cada concepto que sigue tiene la misma forma: su nombre en inglés (recuérdalo: es el término), una imagen de la vida real, un diagrama y una ficha con campos como qué es, idea, ejemplo, trampa y relaciones.

Modality / Multimodal — un tipo de dato y un modelo que maneja varios

Una persona que sabe leer, pero también ver, escuchar y hablar: cada sentido es un canal distinto para asimilar el mundo, no un cerebro distinto.

Una modality es un tipo de dato: texto, imágenes, audio, vídeo. Un modelo que maneja más de uno es multimodal: puede tomar una imagen y texto juntos, o producir habla a partir de una descripción. Durante años, los modelos fueron solo de texto: leer palabras, escribir palabras. El cambio es que un solo modelo puede ahora percibir entre modalidades, como una persona usa varios sentidos, en lugar de estar sordo y ciego a todo salvo al texto.

Mixed Input — una imagen y palabras en una sola pregunta

Entregarle a alguien una foto y preguntar «¿qué tiene de malo esto?»: mira y responde con palabras. Una pregunta, dos tipos de entrada, una respuesta.

El poder de lo multimodal no es solo manejar imágenes en lugar de texto, sino manejarlas juntas. Esto es el mixed input: muéstrale al modelo una captura de pantalla y hazle una pregunta sobre ella, dale un gráfico y una petición escrita, envía una foto con instrucciones. El modelo razona sobre todo ello a la vez. Esta combinación es lo que hace a lo multimodal genuinamente nuevo: la entrada ya no es un solo canal, así que tus prompts pueden mezclar palabras e imágenes como lo hace una conversación real.

Same Engineering — las habilidades de texto siguen aplicándose

Aprender a ver no te hace olvidar cómo leer: el nuevo sentido se suma a lo que ya podías hacer, no lo reemplaza.

Todo lo que aprendiste para el texto —prompting, contexto, structured output, grounding, evals— sigue aplicándose a lo multimodal. La imagen o el audio son solo otra parte de la entrada que ensamblas en el contexto; el modelo sigue produciendo una salida que tú restringes, validas y mides. Así que lo multimodal no es una disciplina aparte que reaprender desde cero; es la misma ingeniería con un tipo extra de entrada y de salida. Traslada tus habilidades de texto y añade encima los detalles propios de la nueva modalidad.

Shared Representation — una imagen se convierte en el mismo tipo de tokens

Un traductor que convierte tanto las palabras habladas como la lengua de signos en las mismas notas escritas: entradas distintas, convertidas a una forma común con la que trabaja el cerebro.

Por debajo, un modelo multimodal convierte una imagen en el mismo tipo de representación interna que usa para el texto. Un vision encoder transforma los píxeles en una secuencia de image tokens, mientras el texto se divide en text tokens como siempre. Ambas secuencias aterrizan en una shared representation, que es justo lo que permite al modelo responder una pregunta de texto sobre una imagen: ambas entradas se han traducido a un lenguaje común dentro del modelo. No necesitas los detalles; basta saber que imagen y texto se vuelven comparables.

OCR vs Scene Understanding — leer el texto ≠ entender la escena

Puedes leer la etiqueta de un frasco y, por separado, entender para qué sirve el frasco: dos actos distintos, aunque ambos impliquen mirar el mismo objeto.

Se confunden dos capacidades distintas. Leer el texto dentro de una imagen —un cartel, un documento, una captura— es más o menos lo que antes requería una herramienta de OCR (reconocimiento óptico de caracteres); un modelo multimodal puede hacerlo directamente. La scene understanding —qué está pasando, qué objetos hay, qué significa un gráfico— es otra cosa. Un buen modelo multimodal hace ambas, pero conviene distinguir «extrae las palabras de esta imagen» de «interpreta lo que muestra esta imagen», porque son peticiones distintas con fiabilidad distinta.

Perception Limits — ver tiene límites

Hasta una vista aguda pasa por alto la letra pequeña, juzga mal una foto borrosa o malinterpreta un diagrama recargado: ver es poderoso, pero no infalible.

La visión de un modelo es impresionante pero imperfecta: son sus perception limits. Puede leer mal texto pequeño o de baja calidad, pasar por alto detalles en una imagen cargada, contar mal objetos o describir con seguridad algo sutil de forma errónea. La percepción es realmente útil, pero no es un instrumento preciso: trata lo que el modelo «ve» como una interpretación sólida, no como una lectura garantizada. Es tentador suponer que, como el modelo puede ver, ve correctamente; igual que sus respuestas de texto, las visuales pueden estar equivocadas con total seguridad.

Document Understanding — documentos, formularios, capturas

Un asistente que echa un vistazo a un formulario en papel o a una pantalla y extrae justo lo que necesitas, en lugar de que tú lo teclees todo a mano.

Un uso práctico enorme es la document understanding: leer documentos, formularios y capturas de pantalla —extraer datos de una factura, entender el diseño de un PDF, responder preguntas sobre lo que hay en una pantalla—. Antes de lo multimodal, esto exigía herramientas frágiles y especializadas; ahora un modelo puede mirar el documento y trabajar con él directamente, estructura incluida. Siempre que la información viva en un formato visual y no en texto limpio, lo multimodal convierte «una persona tiene que leer y reteclear esto» en algo que un modelo puede manejar.

Visual Analysis — imágenes y gráficos

Mostrarle un gráfico a un experto y preguntarle qué significa: lee lo visual y explica la tendencia, sin necesidad de hoja de cálculo.

Los modelos multimodales pueden hacer visual analysis: describir una foto, leer e interpretar un gráfico o un diagrama, detectar qué hay en una imagen, comparar dos imágenes. Puedes darle al modelo un gráfico de ventas y pedirle la tendencia, la foto de un producto y preguntar qué falla, un diagrama y pedirle que lo explique. Esto convierte las imágenes, antes interpretables solo por humanos, en entradas sobre las que tu software puede razonar, y abre cualquier flujo de trabajo donde la información relevante sea visual.

Accessibility & Reach — a quién y qué puedes atender

Un guía que describe la escena en voz alta a alguien que no la ve: convierte un mundo visual en palabras que cualquiera puede usar.

Lo multimodal también amplía a quién y qué puede atender tu producto: la accessibility y el reach. Describir imágenes para usuarios ciegos o con baja visión, dejar que la gente apunte una cámara en vez de escribir, trabajar con contenido que nunca estuvo en forma de texto. La misma capacidad que lee un gráfico puede narrar una foto o poner subtítulos a un vídeo. Más allá de cualquier función concreta, lo multimodal amplía la superficie de lo que un producto de IA puede aceptar como entrada: de «escribe tu pregunta» a «muéstrame, cuéntame o reprodúceme lo que quieres decir».

Multimodal Request — envía la imagen junto al texto

Incluir una foto con tu pregunta escrita en el mismo mensaje: quien lo recibe ve ambas y responde a todo de una vez.

En la práctica, construyes una multimodal request casi como una de texto: ensamblas el contexto, pero ahora puede incluir una imagen (o audio) junto a tus instrucciones de texto. «Aquí hay una captura, y esto es lo que quiero saber sobre ella» llega al modelo como una única entrada combinada. Esto es simplemente context engineering con una entrada más rica: la imagen es una cosa más que metes en la ventana, deliberadamente, junto a las palabras. La mentalidad de ensamblado que ya tienes se aplica directamente.

Structured Output — caos a la entrada, datos limpios a la salida

Alguien que mira un recibo desordenado y anota el total, la fecha y el proveedor en casillas ordenadas y etiquetadas: caos a la entrada, datos limpios a la salida.

Cuando usas lo multimodal para extraer información —sacar campos de un documento, clasificar una imagen, leer un gráfico— sigues queriendo structured output: pídele al modelo que devuelva datos limpios, con la forma de un esquema, que tu código pueda usar, no prosa. Un modelo multimodal que lee un recibo debería entregarte {total, date, vendor}, no un párrafo. La misma disciplina de structured output que convierte un modelo de texto en un componente fiable hace lo mismo con un modelo de visión. La modalidad es nueva; el puente hacia tu código no.

Validation & Grounding — compruébalo, como siempre

Compruebas dos veces lo que alguien te cuenta tras un vistazo rápido, sobre todo los detalles importantes: una segunda mirada a lo que cuenta.

Como la percepción del modelo puede fallar, aplicas la misma disciplina de fiabilidad: valida los datos extraídos, ancla (ground) las respuestas en lo que realmente se puede verificar y mantén a un humano en las lecturas de alto riesgo. Que un modelo lea mal un número de una factura es la versión visual de una hallucination, así que tratas su salida visual como no fiable hasta que se compruebe, exactamente como harías con su texto. La lección de todos los demás cursos se mantiene: el modelo es un componente falible, y una nueva modalidad no cambia eso.

Generation — text-to-image, text-to-speech y más

Un artista que pinta lo que describes, o un actor de voz que dice tu guion: la generación es la imagen especular de la percepción.

Así como los modelos pueden asimilar imágenes y sonido, otros modelos los generan: los modelos text-to-image pintan una imagen a partir de una descripción, el text-to-speech (TTS) convierte palabras en una voz hablada, y hay modelos para música, vídeo y más. La generación es el reverso de la comprensión: otra modalidad como salida en vez de entrada. Es un campo vastísimo por sí solo, pero lo clave es que «multimodal» abarca ambas direcciones: un modelo puede percibir otras modalidades, y un modelo puede producirlas.

Brief → Draft → Review — la misma postura de ingeniería

Diriges a un artista con un brief claro y luego revisas el resultado antes de usarlo: el mismo bucle, produzca lo que produzca.

Construir con modalidades generativas sigue la misma postura que todo lo demás, el bucle brief → draft → review: una instrucción clara (el prompt), una salida que tratas como un borrador a revisar y un humano que controla su uso. Una imagen o una voz generada es el intento seguro del modelo, que se revisa y se edita, no algo que se publica a ciegas: la disciplina de diseño de producto se aplica tanto si la salida es texto como si es una imagen. No necesitas un manual totalmente nuevo; la misma postura de «componente falible, tú mantienes el control» se traslada.

Deliberate Generation — saber que existe y recurrir a ella a propósito

No encargas un cuadro a medida para un trabajo que pide una frase: usas el medio que la tarea realmente requiere.

Las modalidades generativas son poderosas para el trabajo adecuado —ilustraciones, voz sintetizada para un producto de voz, vídeo—, pero son una elección deliberada, no un valor por defecto que esparcir por todas partes. Recurre a la generación de imagen o audio cuando la salida realmente necesite estar en esa modalidad, y quédate con el texto cuando el texto cumpla. Saber que toda esta capacidad existe, y dónde encaja, basta por ahora: lo importante es que lo multimodal es una calle de doble sentido, que percibe y produce entre sentidos.

Visual Prompt Injection — un ataque escondido en una imagen

Una fotografía con instrucciones escritas que el ojo apenas nota pero la máquina lee a la perfección: un mensaje que te cuelan delante de tus narices.

Un modelo multimodal lee todo lo que hay en una imagen, incluido el texto que una persona podría pasar por alto. Eso convierte a las imágenes en un canal para el prompt injection: un atacante puede esconder instrucciones en una imagen —texto tenue, incrustado en los píxeles— que el modelo sigue obedientemente. Es la visual prompt injection, la versión visual del problema de inyección del curso de seguridad, y es más perversa porque no puedes ver el ataque con facilidad. Trata cualquier imagen que el modelo ingiera como entrada no fiable que podría llevar instrucciones, no como simples píxeles inocentes.

Image Token Cost — una imagen cuesta más que mil palabras

Enviar una fotografía en lugar de una frase: mucho más que transmitir y procesar, y la factura lo refleja.

Para el contador, una imagen vale mucho más que mil palabras: es el image token cost. Procesar una consume muchos más tokens que un prompt de texto corto, así que las llamadas multimodales pueden ser bastante más caras. Una función que envía imágenes de alta resolución en cada petición puede generar una factura sorprendente. La disciplina de la economía de modelos se aplica aquí con más fuerza: sé deliberado con el tamaño de la imagen y con la frecuencia con que la envías, porque el coste de «incluye la imagen sin más» es mucho mayor que el de incluir una línea de texto.

Confident Misreading — el fallo silencioso

Alguien que echa un vistazo a un cartel borroso y te dice con seguridad el número equivocado: rápido, seguro y errado.

El conocido problema de la hallucination toma una forma visual, la confident misreading: un modelo puede leer mal una cifra con seguridad, contar mal elementos o describir algo que no está en la imagen, y sonar igual de seguro que cuando acierta. Como la entrada es visual, estos errores pueden ser más difíciles de detectar que un desliz textual. Así que, en todo lo que una mala lectura importe —un número de un documento, una imagen médica, una comprobación de seguridad—, verificas, mantienes a un humano en el circuito y nunca das por hecho que «lo puede ver» significa «lo ha leído bien». La seguridad del modelo no es más fiable con las imágenes que con el texto.

Channel Fit — ajusta el canal a la tarea

Sacas la cámara cuando el problema es algo que mirar, y te quedas con el teclado cuando es algo que decir: ajustas el canal a la tarea.

La decisión es sencilla, el channel fit: usa lo multimodal cuando la información relevante realmente vive en una imagen o en audio —un documento que leer, una escena que interpretar, un habla que entender— en lugar de forzarla primero a texto o de evitarlo cuando ayudaría. Pero no recurras a ello por reflejo donde el texto es más limpio, rápido y barato. La habilidad está en reconocer cuándo un problema es de verdad visual o auditivo, y dejar que el modelo lo perciba directamente, en vez de ignorar esa capacidad o abusar de ella.

Modality Edges — todas las disciplinas, más las propias de la modalidad

Un piloto habilitado para una nueva aeronave aporta todas sus habilidades y añade las particularidades del nuevo avión: no empieza de cero, sino que se amplía.

Lo multimodal no es motivo para olvidar lo que aprendiste. Ensambla la imagen en el contexto deliberadamente, pide structured output, valida y ancla el resultado, vigila el coste y trata las imágenes como no fiables. Luego añade los modality edges: lo específico de esta modalidad: inyección visual, mayor coste de tokens, límites de percepción. Todo lo de los cursos de texto sigue rigiendo; lo multimodal solo lo amplía con un nuevo tipo de entrada y su propio puñado de trampas. Construye sobre lo que sabes y aprende solo los nuevos bordes.

Cómo se conectan los conceptos

Un ingeniero con experiencia que gana un sentido nuevo: todo lo que podía hacer se queda y, encima, llegan nuevos poderes y nuevas formas de equivocarse.

Un multimodal model percibe imágenes y sonido (mediante una shared representation) y los produce (generation). La percepción desbloquea usos —documentos, gráficos, accesibilidad—, pero tiene límites y trae trampas: inyección, coste, malas lecturas con seguridad. Ambos se mantienen a raya con la same engineering: multimodal request, structured output, validation & grounding.