Карта: 20 понятий в семи группах

Карта метро: сначала видишь линии целиком, потом едешь по станциям.

Сначала три основы: что такое модальность, смешанный ввод и почему инженерия остаётся той же. Дальше шесть групп, по одной на главу: как модель видит, что это открывает, как строить в продукте, генерация других модальностей, новые ловушки и как применять хорошо.

У каждого понятия дальше одно и то же: английское название (запомни его — это термин), образ из жизни, схема и карточка с полями вроде что это, идея, пример, подвох и связи.

Modality / Multimodal — вид данных и модель, что работает с несколькими

Человек, который умеет читать, но ещё и видеть, слышать и говорить: каждое чувство — другой канал, чтобы воспринимать мир, а не другой мозг.

Модальность (modality) — это тип данных: текст, изображения, аудио, видео. Модель, которая работает больше чем с одним типом, — мультимодальная (multimodal): она может принять изображение и текст вместе или произвести речь из описания. Годами модели были только текстовыми — читай слова, пиши слова. Сдвиг в том, что одна модель теперь воспринимает несколько модальностей, как человек пользуется несколькими чувствами, а не глуха и слепа ко всему, кроме текста.

Mixed Input — картинка и слова в одном вопросе

Вручить человеку фото и спросить «что тут не так?» — он смотрит и отвечает словами. Один вопрос, два вида ввода, один ответ.

Сила мультимодальности не в том, чтобы работать с картинками вместо текста, а в том, чтобы работать с ними вместе. Это смешанный ввод (mixed input): показать модели скриншот и задать о нём вопрос, дать график и письменную просьбу, отправить фото с инструкциями. Модель рассуждает над всем этим разом. Именно это делает мультимодальность по-настоящему новой: ввод больше не один канал, и промпт может мешать слова и картинки, как в живом разговоре.

Same Engineering — текстовые навыки никуда не деваются

Научившись видеть, ты не разучился читать: новое чувство добавляется к тому, что ты уже умел, а не заменяет его.

Всё, что ты выучил для текста — промптинг (prompting), контекст (context), структурированный вывод (structured output), заземление (grounding), эвалы (evals), — работает и для мультимодальности. Изображение или аудио — просто ещё одна часть ввода, которую ты собираешь в контекст; модель всё так же выдаёт вывод, который ты ограничиваешь, проверяешь и измеряешь. Мультимодальность — не отдельная дисциплина, которую учить с нуля, а та же инженерия с лишним видом ввода и вывода. Переноси текстовые навыки и добавляй сверху специфику новой модальности.

Shared Representation — картинка становится теми же токенами

Переводчик, который превращает и устную речь, и язык жестов в одни и те же письменные заметки: разные вводы — одна общая форма, с которой работает мозг.

Под капотом мультимодальная модель переводит изображение в тот же вид внутреннего представления, что и текст. Компонент vision encoder («зрительный кодировщик») превращает пиксели в последовательность токенов изображения (image tokens), а текст, как обычно, режется на текстовые токены. Обе последовательности оказываются в общем пространстве (shared representation) — поэтому модель и может ответить на текстовый вопрос о картинке: оба ввода переведены на один общий язык внутри модели. Детали не нужны — достаточно знать, что картинка и текст становятся сравнимыми.

OCR vs Scene Understanding — прочитать текст ≠ понять сцену

Можно прочитать этикетку на банке и отдельно понять, для чего эта банка. Два разных действия, хотя оба — взгляд на один предмет.

Две разные способности часто смешивают. Чтение текста внутри изображения — вывески, документа, скриншота — это то, для чего раньше нужен был отдельный OCR (optical character recognition), оптическое распознавание символов; мультимодальная модель делает это напрямую. Понимание сцены (scene understanding) — что происходит, какие объекты есть, что значит график — это другое. Хорошая модель умеет и то и другое, но стоит различать «извлеки слова с картинки» и «объясни, что на ней», потому что это разные просьбы с разной надёжностью.

Perception Limits — у зрения есть пределы

Даже острые глаза пропускают мелкий шрифт, ошибаются на размытом фото и путаются в загромождённой схеме. Зрение мощное, но не безупречное.

Зрение модели впечатляет, но оно несовершенно — это пределы восприятия (perception limits). Модель может неверно прочитать мелкий или плохого качества текст, упустить детали на насыщенной картинке, неправильно посчитать объекты или уверенно неверно описать что-то тонкое. Восприятие по-настоящему полезно, но это не точный прибор: относись к тому, что модель «видит», как к сильной интерпретации, а не к гарантированному чтению. Соблазнительно думать, что раз модель может видеть, то видит верно; но, как и текстовые ответы, визуальные могут быть уверенно неправы.

Document Understanding — документы, формы, скриншоты

Помощник, который глянет на бумажную форму или экран и вытащит ровно то, что нужно, — вместо того чтобы ты перепечатывал всё руками.

Огромное практическое применение — понимание документов (document understanding): чтение документов, форм и скриншотов. Достать данные из счёта, понять раскладку PDF, ответить на вопрос о том, что на экране. До мультимодальности для этого нужны были хрупкие специализированные инструменты; теперь модель смотрит на документ и работает с ним напрямую — вместе со структурой. Везде, где информация живёт в визуальном формате, а не в чистом тексте, мультимодальность превращает «человек должен прочитать и перепечатать» в то, с чем справляется модель.

Visual Analysis — изображения и графики

Показать эксперту график и спросить, что он значит: он читает картинку и объясняет тренд — без всякой таблицы.

Мультимодальные модели умеют анализировать визуальный контент (visual analysis): описать фото, прочитать и объяснить график или диаграмму, заметить, что на картинке, сравнить два изображения. Можно дать модели график продаж и спросить тренд, фото продукта — и спросить, что не так, схему — и попросить объяснить. Картинки перестают быть тем, что умеют понимать только люди, и становятся вводом, о котором может рассуждать твой софт. Это открывает любой процесс, где важная информация — визуальная.

Accessibility & Reach — доступность и охват

Гид, который описывает сцену вслух тому, кто её не видит, — превращая визуальный мир в слова, которыми может пользоваться любой.

Мультимодальность расширяет, кого и что может обслуживать продукт, — это доступность (accessibility) и охват (reach): описывать картинки для незрячих и слабовидящих пользователей, дать навести камеру вместо того, чтобы печатать, работать с контентом, которого никогда не было в текстовой форме. Та же способность, что читает график, может озвучить фото или подписать видео. Шире любой отдельной фичи: мультимодальность расширяет поверхность того, что ИИ-продукт может принять на вход, — от «напечатай вопрос» до «покажи, скажи или включи мне, что ты имеешь в виду».

Multimodal Request — изображение рядом с текстом

Положить фото и письменный вопрос в одно сообщение: получатель видит и то и другое и отвечает на всё сразу.

На практике мультимодальный запрос (multimodal request) строится почти как текстовый: ты собираешь контекст, но теперь в нём может быть изображение (или аудио) рядом с текстовыми инструкциями. «Вот скриншот, и вот что я хочу о нём узнать» уходит в модель как один объединённый ввод. Это просто инженерия контекста (context engineering) с более богатым вводом: картинка — ещё одна вещь, которую ты кладёшь в окно, осознанно, рядом со словами. Привычка собирать контекст, которая у тебя уже есть, работает напрямую.

Structured Output — хаос внутрь, чистые данные наружу

Человек, который смотрит на мятый чек и вписывает итог, дату и продавца в аккуратные подписанные клетки: хаос внутрь, чистые данные наружу.

Когда мультимодальность нужна, чтобы извлечь информацию — вытащить поля из документа, классифицировать картинку, прочитать график, — тебе всё так же нужен структурированный вывод (structured output): попроси модель вернуть чистые данные по схеме, которые может взять код, а не прозу. Модель, читающая чек, должна отдать {total, date, vendor}, а не абзац. Та же дисциплина, которая делает текстовую модель надёжным компонентом, делает то же для зрительной. Модальность новая; мост к твоему коду — нет.

Validation & Grounding — проверяй, как всегда

Ты перепроверяешь то, что кто-то доложил после беглого взгляда, — особенно важные детали. Второй взгляд на то, что важно.

Раз восприятие модели может ошибаться, применяй ту же дисциплину надёжности: валидируй (validate) извлечённые данные, заземляй (ground) ответы в том, что реально можно проверить, и держи человека на чтениях с высокой ставкой. Модель, неверно прочитавшая число в счёте, — это визуальная версия галлюцинации (hallucination), поэтому её визуальный вывод — недоверенный, пока не проверен, ровно как текстовый. Урок всех остальных курсов держится: модель — ошибающийся компонент, и новая модальность этого не меняет.

Generation — text-to-image, text-to-speech и не только

Художник, который рисует то, что ты описал, или актёр озвучки, который читает твой сценарий. Генерация — зеркальное отражение восприятия.

Так же как модели умеют принимать картинки и звук, другие модели их генерируют (generation): модели text-to-image рисуют картинку по описанию, text-to-speech (TTS) превращает слова в голос, есть модели для музыки, видео и не только. Генерация — оборотная сторона понимания: другая модальность на выходе, а не на входе. Это огромное поле само по себе, но главное: «мультимодальность» охватывает оба направления — модель может воспринимать другие модальности, и модель может их производить.

Brief → Draft → Review — та же инженерная поза

Ты ставишь художнику ясное ТЗ и потом смотришь результат, прежде чем использовать. Та же петля — что бы он ни рисовал.

Строить с генерацией — та же поза, что и везде, петля brief → draft → review: ясная инструкция (промпт), вывод, который ты считаешь черновиком на проверку, и человек, который решает, использовать ли его. Сгенерированная картинка или голос — уверенная попытка модели, которую надо проверить и поправить, а не слепо выпустить. Дисциплина продуктового дизайна работает, будь вывод текстом или картинкой. Новый плейбук не нужен: позиция «ошибающийся компонент, контроль у тебя» переносится целиком.

Deliberate Generation — знай, что это есть, бери нарочно

Ты не заказываешь картину маслом там, где нужно одно предложение: используешь тот носитель, который задача на самом деле требует.

Генерация мощна для правильной работы — иллюстрации, синтезированная речь для голосового продукта, видео, — но это осознанный выбор (deliberate choice), а не приправа, которую сыплют везде. Тянись к генерации картинок или звука, когда вывод действительно должен быть в этой модальности, и оставайся в тексте, когда текст справляется. Пока достаточно знать, что такая способность есть и где она стоит: мультимодальность — дорога с двусторонним движением, восприятие и производство через разные чувства.

Visual Prompt Injection — атака, спрятанная в картинке

Фотография с инструкциями, вписанными так, что глаз едва их замечает, а машина читает идеально. Сообщение, протащенное мимо тебя у всех на виду.

Мультимодальная модель читает на картинке всё, включая текст, который человек мог пропустить. Поэтому изображения — канал для инъекции промпта (prompt injection): атакующий прячет инструкции в картинку — бледный текст, вшитый в пиксели, — и модель послушно их выполняет. Это визуальная инъекция (visual prompt injection) — визуальная версия проблемы из курса о безопасности, и она гаже, потому что атаку трудно увидеть глазами. Любое изображение, которое ест модель, — недоверенный ввод, который может нести инструкции, а не просто невинные пиксели.

Image Token Cost — картинка стоит дороже тысячи слов

Отправить фотографию вместо предложения: передать и обработать нужно куда больше — и счёт это отражает.

Для счётчика картинка стоит куда больше тысячи слов — это стоимость токенов изображения (image token cost). Обработка одной картинки съедает намного больше токенов, чем короткий текстовый промпт, так что мультимодальные вызовы могут быть заметно дороже. Фича, которая шлёт картинки высокого разрешения в каждом запросе, может накрутить неожиданный счёт. Дисциплина экономики моделей здесь работает с удвоенной силой: осознанно выбирай размер изображения и то, как часто его отправлять, — «просто приложи картинку» стоит куда больше, чем строчка текста.

Confident Misreading — уверенная ошибка, которая молчит

Человек глянул на размытую вывеску и уверенно назвал не ту цифру: быстро, уверенно и неверно.

Знакомая проблема галлюцинаций принимает визуальную форму — уверенное неверное чтение (confident misreading): модель может уверенно неверно прочитать цифру, неправильно посчитать предметы или описать то, чего на картинке нет, — и звучать так же уверенно, как когда права. Раз ввод визуальный, такие ошибки ловить труднее, чем текстовую оговорку. Поэтому везде, где ошибка чтения важна — число из документа, медицинский снимок, проверка безопасности, — ты проверяешь, держишь человека в контуре и никогда не считаешь, что «она это видит» значит «она прочитала верно». Уверенность модели насчёт картинок не надёжнее, чем насчёт текста.

Channel Fit — канал под задачу

Ты берёшь камеру, когда проблему надо показать, и печатаешь, когда её надо сказать, — подбираешь канал под задачу.

Решение простое — подбор канала (channel fit): используй мультимодальность, когда смысл действительно живёт в картинке или звуке — документ прочитать, сцену понять, речь разобрать, — а не втискивай его сначала в текст и не избегай мультимодальности там, где она помогла бы. Но не хватайся за неё рефлекторно там, где текст чище, быстрее и дешевле. Навык — узнавать, когда задача на самом деле визуальная или звуковая, и давать модели воспринять это напрямую, а не игнорировать способность и не злоупотреблять ей.

Modality Edges — каждая дисциплина плюс новые края

Пилот, допущенный к новому самолёту, приносит все свои навыки и добавляет особенности нового борта — не начинает заново, а расширяет.

Мультимодальность — не повод забыть, что ты выучил. Собирай картинку в контекст осознанно, проси структурированный вывод, проверяй и заземляй результат, следи за ценой, считай картинки недоверенными. Сверху добавь края модальности (modality edges) — то, что специфично именно для неё: визуальная инъекция, высокая цена токенов, пределы восприятия. Всё из текстовых курсов по-прежнему правит; мультимодальность просто расширяет это новым видом ввода и горсткой своих ловушек. Строй на том, что знаешь, и учи только новые края.

Как понятия связаны

Новое чувство у опытного инженера: всё, что он умел, остаётся, а сверху появляются новые возможности и новые способы ошибиться.

Мультимодальная модель воспринимает картинки и звук (через shared representation) и производит их (generation). Восприятие открывает применения — документы, графики, доступность, — но имеет пределы и приносит ловушки: инъекцию, цену, уверенные ошибки. И то, и другое держит в узде та же инженерия: multimodal request, structured output, validation & grounding.