# Модели, что видят и слышат, а не только читают

Экспресс-курс о мультимодальном ИИ — модели, что принимают изображения, аудио и видео, а не только текст. 20 понятий — modality, mixed input, vision encoder, OCR, scene understanding, structured output, text-to-image, visual prompt injection, image token cost и другие — у каждого английское название, схема, пример и карточка. Суть: та же инженерия, что для текста, плюс новые силы и новые ловушки. В конце — шпаргалка по всем понятиям.

- **Author:** Фёдор Чищин
- **Level:** intermediate
- **Reading time:** ~30 минут чтения
- **Published:** 2026-06-13
- **Source:** https://fedorthinks.com/ru/learn/multimodal-ai-express

---

## 1. За пределами текста

Первое, что надо ухватить, — что именно изменилось: модели перестали быть ограничены чтением и письмом слов. Как только модель может принимать картинки и звук, открывается целый новый класс задач.

### Карта: 20 понятий в семи группах

> Карта метро: сначала видишь линии целиком, потом едешь по станциям.

Сначала три **основы**: что такое модальность, смешанный ввод и почему инженерия остаётся той же. Дальше шесть групп, по одной на главу: как модель **видит**, что это **открывает**, как строить **в продукте**, **генерация** других модальностей, новые **ловушки** и как **применять хорошо**.

У каждого понятия дальше одно и то же: **английское название** (запомни его — это термин), образ из жизни, **схема** и **карточка** с полями вроде _что это_, _идея_, _пример_, _подвох_ и _связи_.

_Diagram: Основы сверху, ниже — шесть групп, по ним идут главы 2–7._

### Modality / Multimodal — вид данных и модель, что работает с несколькими

> Человек, который умеет читать, но ещё и видеть, слышать и говорить: каждое чувство — другой канал, чтобы воспринимать мир, а не другой мозг.

**Модальность (modality)** — это тип данных: текст, изображения, аудио, видео. Модель, которая работает больше чем с одним типом, — **мультимодальная (multimodal)**: она может принять изображение _и_ текст вместе или произвести речь из описания. Годами модели были только текстовыми — читай слова, пиши слова. Сдвиг в том, что одна модель теперь воспринимает несколько модальностей, как человек пользуется несколькими чувствами, а не глуха и слепа ко всему, кроме текста.

_Diagram: Текст, картинка, звук, видео — разные модальности входят в одну мультимодальную модель._

#### Multimodal Model (modality, мультимодальная модель)

- **Что это:** Модель, которая работает с несколькими типами данных: текст, изображения, аудио, видео.
- **Модальность:** Один тип данных — один «канал», как одно чувство у человека.
- **Пример:** Описать фото, прочитать график, расшифровать совещание, ответить на вопрос о скриншоте.
- **Связи:** Открывает **mixed input**; всё остальное в курсе — следствия этой одной способности.

### Mixed Input — картинка и слова в одном вопросе

> Вручить человеку фото и спросить «что тут не так?» — он смотрит и отвечает словами. Один вопрос, два вида ввода, один ответ.

Сила мультимодальности не в том, чтобы работать с картинками _вместо_ текста, а в том, чтобы работать с ними _вместе_. Это **смешанный ввод (mixed input)**: показать модели скриншот и задать о нём вопрос, дать график и письменную просьбу, отправить фото с инструкциями. Модель рассуждает над всем этим разом. Именно это делает мультимодальность по-настоящему новой: ввод больше не один канал, и промпт может мешать слова и картинки, как в живом разговоре.

_Diagram: Скриншот и вопрос идут вместе — модель рассуждает над обоими и отвечает словами._

#### Mixed Input (interleaved input, смешанный ввод)

- **Что это:** Изображение (или аудио) и текст в одном запросе.
- **Идея:** Модель рассуждает над всеми частями ввода разом, а не по очереди.
- **Пример:** Скриншот ошибки + «почему так?»; график + «какой тут тренд?».
- **Связи:** В продукте это **multimodal request** — обычная сборка контекста с картинкой внутри.

### Same Engineering — текстовые навыки никуда не деваются

> Научившись видеть, ты не разучился читать: новое чувство добавляется к тому, что ты уже умел, а не заменяет его.

Всё, что ты выучил для текста — **промптинг (prompting)**, **контекст (context)**, **структурированный вывод (structured output)**, **заземление (grounding)**, **эвалы (evals)**, — работает и для мультимодальности. Изображение или аудио — просто ещё одна часть ввода, которую ты собираешь в контекст; модель всё так же выдаёт вывод, который ты ограничиваешь, проверяешь и измеряешь. Мультимодальность — не отдельная дисциплина, которую учить с нуля, а та же инженерия с лишним видом ввода и вывода. Переноси текстовые навыки и добавляй сверху специфику новой модальности.

_Diagram: Текст и картинка проходят через те же дисциплины: промпт, контекст, схема, заземление, эвалы._

#### Same Engineering (навыки переносятся)

- **Идея:** Картинка — ещё один ввод; вся текстовая инженерия применяется к ней.
- **Пример:** Тот же JSON-schema, та же валидация, те же эвалы — только на входе теперь фото.
- **Подвох:** Думать, что «это совсем другое» — и выбросить проверенные практики.
- **Связи:** Сверху добавляются **modality edges**: инъекция, цена, пределы восприятия.

> **Вопрос рамки:** «Есть ли в этой задаче что-то кроме слов — изображение, график, аудио, — что модель могла бы воспринять напрямую, вместо того чтобы я сначала втискивал всё в текст?»

> Модальность — это вид данных; мультимодальная модель работает с несколькими — изображениями и аудио, не только текстом — и может мешать их в одном вводе. Все твои текстовые навыки по-прежнему работают, просто добавилось новое чувство.

## 2. Как модель видит

Полезно грубо понимать, как модель принимает изображение: это снимает магию с того, что мультимодальность может и чего не может, — и объясняет, почему она иногда неверно читает то, что прямо перед ней.

### Shared Representation — картинка становится теми же токенами

> Переводчик, который превращает и устную речь, и язык жестов в одни и те же письменные заметки: разные вводы — одна общая форма, с которой работает мозг.

Под капотом мультимодальная модель переводит изображение в тот же вид внутреннего представления, что и текст. Компонент **vision encoder** («зрительный кодировщик») превращает пиксели в последовательность **токенов изображения (image tokens)**, а текст, как обычно, режется на текстовые токены. Обе последовательности оказываются в **общем пространстве (shared representation)** — поэтому модель и может ответить на текстовый вопрос о картинке: оба ввода переведены на один общий язык внутри модели. Детали не нужны — достаточно знать, что картинка и текст становятся сравнимыми.

_Diagram: Пиксели через vision encoder, слова через токенизатор — и всё это одна последовательность для модели._

#### Shared Representation (vision encoder, image tokens)

- **Что это:** Картинка и текст переводятся в одну внутреннюю форму — последовательность.
- **Как работает:** Vision encoder: пиксели → токены изображения; дальше модель видит их рядом со словами.
- **Почему важно:** Отсюда умение связывать вопрос в словах с тем, что на картинке.
- **Связи:** Токены изображения стоят денег — см. **image token cost**.

### OCR vs Scene Understanding — прочитать текст ≠ понять сцену

> Можно прочитать этикетку на банке и отдельно понять, для чего эта банка. Два разных действия, хотя оба — взгляд на один предмет.

Две разные способности часто смешивают. Чтение **текста внутри изображения** — вывески, документа, скриншота — это то, для чего раньше нужен был отдельный **OCR (optical character recognition)**, оптическое распознавание символов; мультимодальная модель делает это напрямую. **Понимание сцены (scene understanding)** — что происходит, какие объекты есть, что значит график — это другое. Хорошая модель умеет и то и другое, но стоит различать «извлеки слова с картинки» и «объясни, что на ней», потому что это разные просьбы с разной надёжностью.

_Diagram: Одна картинка, две просьбы: OCR достаёт точный текст, понимание сцены — смысл._

#### OCR vs Scene Understanding (чтение текста против понимания сцены)

- **OCR:** Извлечь слова и цифры, написанные на изображении.
- **Scene:** Интерпретировать: что изображено, что происходит, что значит график.
- **Пример:** «Что написано на этикетке?» — OCR. «Что это за предмет и зачем он?» — понимание сцены.
- **Подвох:** Это разные просьбы с разной надёжностью — формулируй, какую задаёшь.
- **Связи:** Обе упираются в **perception limits**.

### Perception Limits — у зрения есть пределы

> Даже острые глаза пропускают мелкий шрифт, ошибаются на размытом фото и путаются в загромождённой схеме. Зрение мощное, но не безупречное.

Зрение модели впечатляет, но оно несовершенно — это **пределы восприятия (perception limits)**. Модель может неверно прочитать мелкий или плохого качества текст, упустить детали на насыщенной картинке, неправильно посчитать объекты или уверенно неверно описать что-то тонкое. Восприятие по-настоящему полезно, но это не точный прибор: относись к тому, что модель «видит», как к сильной интерпретации, а не к гарантированному чтению. Соблазнительно думать, что раз модель _может_ видеть, то видит верно; но, как и текстовые ответы, визуальные могут быть уверенно неправы.

_Diagram: Мелкий шрифт, размытость, загромождённость, много объектов — и иногда уверенная ошибка._

#### Perception Limits (пределы восприятия)

- **Что это:** Зрение модели — сильная интерпретация, а не гарантированное чтение.
- **Где ломается:** Мелкий или плохой текст, загромождённые картинки, подсчёт объектов, тонкие детали.
- **Подвох:** «Может видеть» не значит «видит верно».
- **Связи:** Корень **confident misreading**; лечится **validation & grounding**.

> **Вопрос восприятия:** «Я прошу модель прочитать текст на изображении или интерпретировать сцену — и насколько надёжным должно быть восприятие, чтобы эта задача была безопасной?»

> Модель переводит изображение в ту же внутреннюю форму, что и текст, поэтому может рассуждать над обоими вместе. Прочитать текст на картинке — не то же самое, что понять сцену, а восприятие, хоть и мощное, может быть уверенно неправо.

## 3. Что это открывает

Мультимодальность важна из-за того, какие реальные задачи она делает решаемыми. Конкретные применения показывают, почему это больше, чем игрушка.

### Document Understanding — документы, формы, скриншоты

> Помощник, который глянет на бумажную форму или экран и вытащит ровно то, что нужно, — вместо того чтобы ты перепечатывал всё руками.

Огромное практическое применение — **понимание документов (document understanding)**: чтение документов, форм и скриншотов. Достать данные из счёта, понять раскладку PDF, ответить на вопрос о том, что на экране. До мультимодальности для этого нужны были хрупкие специализированные инструменты; теперь модель смотрит на документ и работает с ним напрямую — вместе со структурой. Везде, где информация живёт в визуальном формате, а не в чистом тексте, мультимодальность превращает «человек должен прочитать и перепечатать» в то, с чем справляется модель.

_Diagram: Счёт, форма, скриншот — модель читает их вместе с раскладкой и отдаёт данные._

#### Document Understanding (понимание документов)

- **Проблема:** Информация заперта в счетах, формах и скриншотах — человек читает и перепечатывает.
- **Идея:** Модель смотрит на документ и сама достаёт нужное, учитывая раскладку.
- **Пример:** Вытащить сумму, дату и поставщика из счёта в PDF.
- **Было:** Хрупкие специализированные инструменты под каждый формат.
- **Связи:** Результат просят как **structured output** и проверяют **validation**.

### Visual Analysis — изображения и графики

> Показать эксперту график и спросить, что он значит: он читает картинку и объясняет тренд — без всякой таблицы.

Мультимодальные модели умеют **анализировать визуальный контент (visual analysis)**: описать фото, прочитать и объяснить график или диаграмму, заметить, что на картинке, сравнить два изображения. Можно дать модели график продаж и спросить тренд, фото продукта — и спросить, что не так, схему — и попросить объяснить. Картинки перестают быть тем, что умеют понимать только люди, и становятся вводом, о котором может рассуждать твой софт. Это открывает любой процесс, где важная информация — визуальная.

_Diagram: График → тренд, фото продукта → дефект, схема → объяснение простыми словами._

#### Visual Analysis (анализ изображений и графиков)

- **Что это:** Описать, объяснить и сравнить то, что изображено.
- **Пример:** График продаж → «какой тренд?»; фото товара → «что не так?»; схема → «объясни».
- **Подвох:** Интерпретация — это **scene understanding**, она менее точна, чем OCR.
- **Связи:** Открывает процессы, где смысл живёт в картинке.

### Accessibility & Reach — доступность и охват

> Гид, который описывает сцену вслух тому, кто её не видит, — превращая визуальный мир в слова, которыми может пользоваться любой.

Мультимодальность расширяет, кого и что может обслуживать продукт, — это **доступность (accessibility)** и **охват (reach)**: описывать картинки для незрячих и слабовидящих пользователей, дать навести камеру вместо того, чтобы печатать, работать с контентом, которого никогда не было в текстовой форме. Та же способность, что читает график, может озвучить фото или подписать видео. Шире любой отдельной фичи: мультимодальность расширяет _поверхность_ того, что ИИ-продукт может принять на вход, — от «напечатай вопрос» до «покажи, скажи или включи мне, что ты имеешь в виду».

_Diagram: Кроме «напечатай» появляются «покажи», «скажи», «включи» — и описание картинок для тех, кто их не видит._

#### Accessibility & Reach (доступность и охват)

- **Что это:** Шире поверхность ввода: показать, сказать, включить — не только напечатать.
- **Пример:** Описание фото для слабовидящих; навести камеру вместо ввода текста; подписи к видео.
- **Почему важно:** Продукт обслуживает людей и контент, до которых раньше не дотягивался.
- **Связи:** Та же способность, что в **visual analysis**, — просто направленная на людей.

> **Вопрос возможностей:** «Есть ли в моей задаче информация, запертая в визуальной или звуковой форме — документ, график, фото, — которую мультимодальность дала бы модели использовать напрямую?»

> Мультимодальность открывает чтение документов и скриншотов, анализ изображений и графиков и расширение охвата через доступность — превращая визуальную и звуковую информацию в то, о чём может рассуждать софт.

## 4. Мультимодальность в продукте

Строить с мультимодальностью — это в основном инженерия, которую ты уже знаешь, только во вводе появились картинки или звук. Знакомые дисциплины переносятся напрямую.

### Multimodal Request — изображение рядом с текстом

> Положить фото и письменный вопрос в одно сообщение: получатель видит и то и другое и отвечает на всё сразу.

На практике **мультимодальный запрос (multimodal request)** строится почти как текстовый: ты собираешь контекст, но теперь в нём может быть изображение (или аудио) рядом с текстовыми инструкциями. «Вот скриншот, и вот что я хочу о нём узнать» уходит в модель как один объединённый ввод. Это просто **инженерия контекста (context engineering)** с более богатым вводом: картинка — ещё одна вещь, которую ты кладёшь в окно, осознанно, рядом со словами. Привычка собирать контекст, которая у тебя уже есть, работает напрямую.

_Diagram: В окне контекста — инструкции, картинка и вопрос; модель получает их одним вводом._

#### Multimodal Request (context engineering с картинкой)

- **Идея:** Собрать контекст как обычно, но положить в него изображение или аудио.
- **Пример:** Инструкции + скриншот + «что тут не так?» — одним запросом.
- **Подвох:** Кидать картинку «на всякий случай» — это и шум в контексте, и лишние деньги.
- **Связи:** Реализация **mixed input**; цену считает **image token cost**.

### Structured Output — хаос внутрь, чистые данные наружу

> Человек, который смотрит на мятый чек и вписывает итог, дату и продавца в аккуратные подписанные клетки: хаос внутрь, чистые данные наружу.

Когда мультимодальность нужна, чтобы извлечь информацию — вытащить поля из документа, классифицировать картинку, прочитать график, — тебе всё так же нужен **структурированный вывод (structured output)**: попроси модель вернуть чистые данные по схеме, которые может взять код, а не прозу. Модель, читающая чек, должна отдать `{total, date, vendor}`, а не абзац. Та же дисциплина, которая делает текстовую модель надёжным компонентом, делает то же для зрительной. Модальность новая; мост к твоему коду — нет.

_Diagram: Фото чека → данные по схеме, которые берёт код. Абзац текста код использовать не может._

#### Structured Output (структурированный вывод по схеме)

- **Проблема:** Модель описывает картинку прозой — коду с этим делать нечего.
- **Идея:** Просить данные по схеме: поля, типы, форма.
- **Пример:** Чек → `{total, date, vendor}`, а не абзац.
- **Когда брать:** Любое извлечение данных из изображения.
- **Связи:** Следующий шаг — **validation & grounding** этих полей.

### Validation & Grounding — проверяй, как всегда

> Ты перепроверяешь то, что кто-то доложил после беглого взгляда, — особенно важные детали. Второй взгляд на то, что важно.

Раз восприятие модели может ошибаться, применяй ту же дисциплину надёжности: **валидируй (validate)** извлечённые данные, **заземляй (ground)** ответы в том, что реально можно проверить, и держи человека на чтениях с высокой ставкой. Модель, неверно прочитавшая число в счёте, — это визуальная версия **галлюцинации (hallucination)**, поэтому её визуальный вывод — недоверенный, пока не проверен, ровно как текстовый. Урок всех остальных курсов держится: модель — ошибающийся компонент, и новая модальность этого не меняет.

_Diagram: Прочитанное моделью → проверка схемой и правилами → сверка с источником → человек на важном → использование._

#### Validation & Grounding (валидация и заземление)

- **Проблема:** Модель может неверно прочитать число — и звучать уверенно.
- **Идея:** Вывод недоверенный, пока не проверен: схема, правила, сверка, человек.
- **Пример:** Сумма в счёте не сходится с суммой строк → повторить или отдать человеку.
- **Связи:** Ответ на **perception limits** и **confident misreading**.

> **Вопрос продукта:** «Отношусь ли я к изображению как к ещё одному вводу, который надо проинженерить, — собрать в контекст, получить структурированный вывод, проверить — так же, как к тексту?»

> Строить мультимодальность — это инженерия контекста с более богатым вводом: отправляй картинку вместе с текстом, проси структурированный вывод, проверяй и заземляй результат. Модель — ошибающийся компонент, какой бы ни была модальность.

## 5. Генерация по модальностям

До сих пор мы говорили о моделях, которые принимают картинки и звук. Обратное направление — модели, которые их производят, — это своя большая область. Её стоит назвать, чтобы понимать, где она стоит.

### Generation — text-to-image, text-to-speech и не только

> Художник, который рисует то, что ты описал, или актёр озвучки, который читает твой сценарий. Генерация — зеркальное отражение восприятия.

Так же как модели умеют принимать картинки и звук, другие модели их **генерируют (generation)**: модели **text-to-image** рисуют картинку по описанию, **text-to-speech (TTS)** превращает слова в голос, есть модели для музыки, видео и не только. Генерация — оборотная сторона понимания: другая модальность на выходе, а не на входе. Это огромное поле само по себе, но главное: «мультимодальность» охватывает оба направления — модель может воспринимать другие модальности, и модель может их производить.

_Diagram: Сверху восприятие: картинка или звук на входе. Снизу генерация: картинка, речь, музыка, видео на выходе._

#### Generation (text-to-image, text-to-speech (TTS))

- **Что это:** Модель производит другую модальность: картинку, речь, музыку, видео.
- **Пример:** Иллюстрация по описанию; озвучка текста для голосового продукта.
- **Идея:** Зеркало восприятия: модальность на выходе, а не на входе.
- **Связи:** Работает по петле **brief → draft → review**; брать — **deliberately**.

### Brief → Draft → Review — та же инженерная поза

> Ты ставишь художнику ясное ТЗ и потом смотришь результат, прежде чем использовать. Та же петля — что бы он ни рисовал.

Строить с генерацией — та же поза, что и везде, петля **brief → draft → review**: ясная инструкция (промпт), вывод, который ты считаешь черновиком на проверку, и человек, который решает, использовать ли его. Сгенерированная картинка или голос — уверенная попытка модели, которую надо проверить и поправить, а не слепо выпустить. Дисциплина продуктового дизайна работает, будь вывод текстом или картинкой. Новый плейбук не нужен: позиция «ошибающийся компонент, контроль у тебя» переносится целиком.

_Diagram: ТЗ → генерация → черновик → проверка человеком → использование. Не то — правишь ТЗ и снова._

#### Brief → Draft → Review (ТЗ, черновик, проверка)

- **Идея:** Сгенерированное — черновик; человек проверяет, прежде чем использовать.
- **Пример:** Сгенерировать иллюстрацию, отсмотреть, поправить промпт, сгенерировать снова.
- **Подвох:** Слепо отгрузить картинку или голос «как есть».
- **Связи:** Та же поза, что **same engineering** для текста.

### Deliberate Generation — знай, что это есть, бери нарочно

> Ты не заказываешь картину маслом там, где нужно одно предложение: используешь тот носитель, который задача на самом деле требует.

Генерация мощна для правильной работы — иллюстрации, синтезированная речь для голосового продукта, видео, — но это **осознанный выбор (deliberate choice)**, а не приправа, которую сыплют везде. Тянись к генерации картинок или звука, когда вывод действительно должен быть в этой модальности, и оставайся в тексте, когда текст справляется. Пока достаточно знать, что такая способность есть и где она стоит: мультимодальность — дорога с двусторонним движением, восприятие и производство через разные чувства.

_Diagram: Выводу правда нужна картинка или голос? Да — генерируй. Нет — оставайся в тексте._

#### Deliberate Generation (генерация по необходимости)

- **Вопрос:** Выводу действительно нужна другая модальность?
- **Да:** Иллюстрации, речь для голосового продукта, видео.
- **Нет:** Текст чище, дешевле и быстрее — оставайся в нём.
- **Связи:** Частный случай **channel fit** — для вывода, а не ввода.

> **Вопрос генерации:** «Этой задаче правда нужен вывод в другой модальности — картинка, голос — или я тянусь к генерации там, где справился бы текст?»

> Мультимодальность работает в обе стороны: модели ещё и генерируют картинки, речь и не только. Поза та же — ясное ТЗ, проверенный черновик, человек у руля, — и тянешься ты к генерации, только когда вывод правда требует этой модальности.

## 6. Новые ловушки

Мультимодальность добавляет новые режимы сбоя поверх знакомых. Несколько конкретных ловушек ловят команды, которые относятся к картинкам так, будто они так же безопасны и дёшевы, как текст.

### Visual Prompt Injection — атака, спрятанная в картинке

> Фотография с инструкциями, вписанными так, что глаз едва их замечает, а машина читает идеально. Сообщение, протащенное мимо тебя у всех на виду.

Мультимодальная модель читает на картинке _всё_, включая текст, который человек мог пропустить. Поэтому изображения — канал для **инъекции промпта (prompt injection)**: атакующий прячет инструкции в картинку — бледный текст, вшитый в пиксели, — и модель послушно их выполняет. Это **визуальная инъекция (visual prompt injection)** — визуальная версия проблемы из курса о безопасности, и она гаже, потому что атаку трудно увидеть глазами. Любое изображение, которое ест модель, — недоверенный ввод, который может нести инструкции, а не просто невинные пиксели.

_Diagram: Бледный текст на фото незаметен человеку, но модель его читает и выполняет. Защита — считать картинку недоверенной._

#### Visual Prompt Injection (визуальная инъекция промпта)

- **Что это:** Инструкции, спрятанные в изображении, которые модель выполняет.
- **Пример:** Бледная надпись «ignore previous instructions» на фото товара.
- **Почему гаже:** Атаку трудно заметить глазами — человек её не видит.
- **Защита:** Любая картинка — недоверенный ввод, а не «просто пиксели».
- **Связи:** Визуальный вариант **prompt injection** из курса о безопасности.

### Image Token Cost — картинка стоит дороже тысячи слов

> Отправить фотографию вместо предложения: передать и обработать нужно куда больше — и счёт это отражает.

Для счётчика картинка стоит куда больше тысячи слов — это **стоимость токенов изображения (image token cost)**. Обработка одной картинки съедает намного больше токенов, чем короткий текстовый промпт, так что мультимодальные вызовы могут быть заметно дороже. Фича, которая шлёт картинки высокого разрешения в каждом запросе, может накрутить неожиданный счёт. Дисциплина экономики моделей здесь работает с удвоенной силой: осознанно выбирай размер изображения и то, как часто его отправлять, — «просто приложи картинку» стоит куда больше, чем строчка текста.

_Diagram: Короткий промпт, одна картинка, картинка в высоком разрешении, она же в каждом вызове — счёт растёт._

#### Image Token Cost (стоимость токенов изображения)

- **Что это:** Одна картинка съедает намного больше токенов, чем короткий текст.
- **Пример:** Скриншот в высоком разрешении в каждом запросе — неожиданный счёт.
- **Как снизить:** Уменьшать разрешение, слать картинку только когда нужна.
- **Связи:** Растёт из **shared representation**: картинка = много токенов.

### Confident Misreading — уверенная ошибка, которая молчит

> Человек глянул на размытую вывеску и уверенно назвал не ту цифру: быстро, уверенно и неверно.

Знакомая проблема галлюцинаций принимает визуальную форму — **уверенное неверное чтение (confident misreading)**: модель может уверенно неверно прочитать цифру, неправильно посчитать предметы или описать то, чего на картинке нет, — и звучать так же уверенно, как когда права. Раз ввод визуальный, такие ошибки ловить труднее, чем текстовую оговорку. Поэтому везде, где ошибка чтения важна — число из документа, медицинский снимок, проверка безопасности, — ты проверяешь, держишь человека в контуре и никогда не считаешь, что «она это видит» значит «она прочитала верно». Уверенность модели насчёт картинок не надёжнее, чем насчёт текста.

_Diagram: На вывеске «8», модель уверенно говорит «3». Защита — проверка, человек в контуре, никаких допущений._

#### Confident Misreading (visual hallucination, визуальная галлюцинация)

- **Что это:** Модель неверно читает или описывает картинку — и звучит уверенно.
- **Пример:** Не та цифра из счёта, не то число предметов, деталь, которой нет.
- **Почему тихо:** Визуальную ошибку труднее поймать, чем текстовую оговорку.
- **Защита:** Проверка, человек на высокой ставке, никаких «оно же видит».
- **Связи:** Следствие **perception limits**; лечится **validation & grounding**.

> **Вопрос ловушек:** «Может ли эта картинка нести скрытую инъекцию, учёл ли я её высокую цену и не решил ли я, что модель читает её верно, когда она может быть уверенно неправа?»

> Новые ловушки мультимодальности: картинки могут протащить инъекцию промпта, стоят куда больше токенов, чем текст, а модель может читать их неверно так же уверенно, как галлюцинирует в тексте. Картинка — недоверенная, дорогая и прочитанная с ошибками.

## 7. Применять хорошо

Применять мультимодальность хорошо — это в основном применять всё, что ты уже знаешь, к более богатому вводу, уважая конкретные цены и риски новой модальности.

### Channel Fit — канал под задачу

> Ты берёшь камеру, когда проблему надо показать, и печатаешь, когда её надо сказать, — подбираешь канал под задачу.

Решение простое — **подбор канала (channel fit)**: используй мультимодальность, когда смысл действительно живёт в картинке или звуке — документ прочитать, сцену понять, речь разобрать, — а не втискивай его сначала в текст и не избегай мультимодальности там, где она помогла бы. Но не хватайся за неё рефлекторно там, где текст чище, быстрее и дешевле. Навык — узнавать, когда задача на самом деле визуальная или звуковая, и давать модели воспринять это напрямую, а не игнорировать способность и не злоупотреблять ей.

_Diagram: Где живёт смысл? В картинке или звуке — мультимодальность. В словах — текст._

#### Channel Fit (подбор канала)

- **Вопрос:** Где живёт смысл — в картинке, в звуке или в словах?
- **Пример:** Счёт-скан — мультимодальность. Вопрос, который пользователь и так печатает, — текст.
- **Подвох:** Две ошибки: игнорировать способность и злоупотреблять ей.
- **Связи:** Для вывода то же самое — **deliberate generation**.

### Modality Edges — каждая дисциплина плюс новые края

> Пилот, допущенный к новому самолёту, приносит все свои навыки и добавляет особенности нового борта — не начинает заново, а расширяет.

Мультимодальность — не повод забыть, что ты выучил. Собирай картинку в контекст осознанно, проси структурированный вывод, проверяй и заземляй результат, следи за ценой, считай картинки недоверенными. Сверху добавь **края модальности (modality edges)** — то, что специфично именно для неё: визуальная инъекция, высокая цена токенов, пределы восприятия. Всё из текстовых курсов по-прежнему правит; мультимодальность просто расширяет это новым видом ввода и горсткой своих ловушек. Строй на том, что знаешь, и учи только новые края.

_Diagram: Фундамент — текстовые дисциплины. Сверху три новых края: инъекция, цена, пределы восприятия._

#### Modality Edges (новые края поверх старых дисциплин)

- **Идея:** Старые дисциплины + специфика модальности, а не всё с нуля.
- **Старое:** Контекст, структурированный вывод, валидация, заземление, цена.
- **Новое:** Визуальная инъекция, цена токенов картинки, пределы восприятия.
- **Связи:** Сводит вместе **same engineering** и все **ловушки** главы 6.

### Как понятия связаны

> Новое чувство у опытного инженера: всё, что он умел, остаётся, а сверху появляются новые возможности и новые способы ошибиться.

**Мультимодальная модель** **воспринимает** картинки и звук (через **shared representation**) и **производит** их (**generation**). Восприятие открывает **применения** — документы, графики, доступность, — но имеет **пределы** и приносит **ловушки**: инъекцию, цену, уверенные ошибки. И то, и другое держит в узде **та же инженерия**: multimodal request, structured output, validation & grounding.

_Diagram: Модель воспринимает и производит; применения строятся той же инженерией, а пределы и ловушки ею же охраняются._

#### Прежде чем выкатывать мультимодальную фичу

- **Информация правда визуальная или звуковая** — или я беру мультимодальность там, где текст чище?
- **Собираю ли я картинку в контекст** осознанно, как любой другой ввод?
- **Прошу ли я структурированный вывод**, когда достаю данные из изображения?
- **Может ли картинка нести скрытую инъекцию** — считаю ли я её недоверенной?
- **Учёл ли я намного большую цену токенов** картинок?
- **Проверяю ли я восприятие** и держу ли человека на чтениях с высокой ставкой?

#### Признаки, что ты используешь мультимодальность хорошо

- Ты берёшь её, когда информация правда **визуальная или звуковая**, а не по рефлексу.
- Ты **собираешь картинку в контекст** и просишь **структурированный вывод** при извлечении данных.
- Ты считаешь картинки **недоверенными** и помнишь о **визуальной инъекции**.
- Ты учитываешь **высокую цену** и **пределы восприятия**.
- Ты **проверяешь и держишь человека** там, где ошибка чтения была бы важна.

## Шпаргалка: все понятия курса

### Основы

- **Modality / Multimodal Model** (модальность, мультимодальная модель): Модальность — тип данных; мультимодальная модель работает с несколькими.
- **Mixed Input** (смешанный ввод): Картинка и текст в одном запросе — модель рассуждает над обоими.
- **Same Engineering** (навыки переносятся): Вся текстовая инженерия работает и для картинок.

### Как модель видит

- **Shared Representation** (vision encoder, image tokens): Пиксели становятся токенами в одном пространстве со словами.
- **OCR vs Scene Understanding** (текст против сцены): Прочитать надпись на картинке — не то же, что понять, что на ней.
- **Perception Limits** (пределы восприятия): Зрение — сильная интерпретация, а не гарантия.

### Что открывает

- **Document Understanding** (понимание документов): Счета, формы, скриншоты — без перепечатывания.
- **Visual Analysis** (анализ изображений и графиков): Тренд с графика, дефект на фото, объяснение схемы.
- **Accessibility & Reach** (доступность и охват): Показать, сказать, включить — не только напечатать.

### В продукте

- **Multimodal Request** (context engineering с картинкой): Картинка — ещё одна часть собранного контекста.
- **Structured Output** (структурированный вывод): Данные по схеме, а не проза.
- **Validation & Grounding** (валидация и заземление): Визуальный вывод недоверенный, пока не проверен.

### Генерация

- **Generation** (text-to-image, TTS): Модель производит картинку, речь, музыку, видео.
- **Brief → Draft → Review** (ТЗ, черновик, проверка): Сгенерированное — черновик, человек решает.
- **Deliberate Generation** (генерация по необходимости): Генерировать, только когда вывод правда нужен в той модальности.

### Ловушки

- **Visual Prompt Injection** (визуальная инъекция): Инструкции, спрятанные в картинке.
- **Image Token Cost** (цена токенов картинки): Картинка стоит намного больше токенов, чем текст.
- **Confident Misreading** (визуальная галлюцинация): Неверное чтение, произнесённое уверенно.

### Применять хорошо

- **Channel Fit** (подбор канала): Мультимодальность — когда смысл живёт в картинке или звуке.
- **Modality Edges** (новые края): Старые дисциплины плюс инъекция, цена и пределы восприятия.

> Мультимодальность расширяет текстовую инженерию на картинки и звук: бери её, когда информация визуальная, переноси каждую дисциплину — контекст, структурированный вывод, проверку, цену — и уважай новые ловушки: инъекцию, цену и уверенные ошибки чтения.

Конец экспресс-курса · 7 глав · 20 понятий

Дальше — практика: возьми задачу, где информация заперта в визуальной форме — скриншот, чек, график, — и дай картинку мультимодальной модели, попросив структурированный вывод, который можно использовать. Потом проверь её пределы: размой картинку, добавь мелкий шрифт и посмотри, где она ошибается. Наконец, отнесись к одной картинке как к враждебной и посмотри, может ли спрятанный текст ею управлять. Способность «щёлкает» в тот миг, когда модель читает документ, который тебе пришлось бы перепечатывать. Но держи одну мысль выше прочих: мультимодальность даёт модели воспринимать больше, чем слова, но внутри это тот же ошибающийся компонент — переноси всё, что знаешь, и помни, что зрение, как и чтение, может быть уверенно неправо.