# Три способа научить модель своему миру Экспресс-курс о промптинге, RAG и файнтюнинге — трёх способах дать модели знание или поведение, которых у неё нет из коробки. 15 понятий — Knowledge Cutoff, In-context Learning, Few-shot, Context Window, RAG, Grounding, Fine-tuning, LoRA, Form vs Facts, Decision Ladder, Evals и другие — у каждого английское название, схема и карточка «что это → как работает → пример → подвох». В конце — шпаргалка. Главная мысль: файнтюнинг учит форме, RAG — фактам, а начинать надо с промпта. - **Author:** Фёдор Чищин - **Level:** intermediate - **Reading time:** ~30 минут чтения - **Published:** 2026-06-13 - **Source:** https://fedorthinks.com/ru/learn/fine-tuning-express --- ## 1. Модель не знает твоего мира Все три техники решают одну проблему: модель блестяща в общем, но ничего не знает про твою конкретику. Понять, чего именно ей не хватает, — это и есть выбор правильной починки. ### Knowledge Cutoff — знание заморожено и обще > Блестящий выпускник, который годы назад прочёл огромную библиотеку, — но не файлы твоей компании и ничего, что вышло после его выпуска. Модель знает только то, что было в её **обучающих данных (training data)**. Эти данные взяты из публичного интернета и заморожены на дате **отсечки (knowledge cutoff)**. Знание широкое и общее — но про твои приватные данные, твой узкий домен и всё, что случилось после обучения, модель не знает ничего. Поэтому из коробки она не ответит про твой продукт, не попадёт в твой стиль и не знает цифр прошлой недели. Весь этот курс — про то, как закрыть разрыв между общим знанием модели и твоим конкретным миром. _Diagram: Модель знает публичный интернет до даты отсечки. Свежие факты и твои приватные данные — за пределами._ #### Knowledge Cutoff (отсечка знаний, training data) - **Что это:** Дата, на которой заморожены обучающие данные модели. Всё позже — модель не видела. - **Как работает:** Модель учится на большом публичном корпусе один раз; после этого её знание не обновляется само. - **Пример:** Спроси про цены своего продукта или цифры прошлой недели — модель не знает или выдумает. - **Подвох:** Модель уверенно звучит и там, где не знает. Отсутствие знания не видно по тону. - **Связи:** Это корень проблемы, которую решают **Prompting**, **RAG** и **Fine-tuning**. ### Knowledge Gap vs Behaviour Gap — три разных разрыва > Новичку может быть нужен брифинг, картотека, в которую он будет заглядывать, или настоящее обучение, которое меняет то, как он работает. Три разных разрыва — три разные починки. Разрыв бывает разной формы, и чинится он по-разному. Иногда модели нужно **знать пару фактов** для этой задачи. Иногда — **опираться на большой, меняющийся свод знаний**. Иногда — **вести себя иначе**: держать формат, тон или навык. Это **knowledge gap** (разрыв знания) и **behaviour gap** (разрыв поведения). Им соответствуют три техники: сказать ей (промптинг), дать источник знаний (RAG) или переобучить (файнтюнинг). Назвать, какой разрыв у тебя, — это и есть почти всё решение. _Diagram: Три вида разрыва — три техники: пара фактов → промпт, большой меняющийся свод → RAG, иное поведение → файнтюнинг._ #### Knowledge Gap vs Behaviour Gap (разрыв знания и разрыв поведения) - **Что это:** Два разных вида «модель не справляется»: ей не хватает **фактов** или не хватает **поведения**. - **Как работает:** Знание добавляют в момент ответа (промпт, RAG). Поведение — инструкциями, примерами или переобучением. - **Пример:** «Не знает наши тарифы» — разрыв знания. «Отвечает не в нашем фирменном тоне» — разрыв поведения. - **Подвох:** Перепутать их — и взять дорогой инструмент не для той задачи. - **Связи:** Основа для **Form vs Facts** и **Gap Diagnosis**. ### Карта: 15 понятий в шести группах > Карта метро: сначала видишь линии целиком, потом едешь по станциям. Все понятия курса делятся на шесть групп. Сначала — сам разрыв. Потом три техники по возрастанию цены: промптинг, RAG, файнтюнинг. Потом главное различие между ними. И в конце — как выбирать и проверять выбор. _Diagram: Шесть групп понятий — по ним идут главы курса._ ### Как читать курс > Ты не отправляешь человека на год обучения, если хватило бы памятки на одну страницу. Усилие подбирают под то, чего реально не хватает. У каждого понятия одно и то же: **английское название** (запомни его — это термин из документации и статей), образ из жизни, **схема** и **карточка** с полями _что это_, _как работает_, _пример_, _подвох_ и _связи_. Главная идея курса: техники сильно различаются по цене, скорости и тому, для чего хороши. Самая частая ошибка — прыгнуть сразу к файнтюнингу, самому тяжёлому варианту, когда промпт или RAG решили бы задачу быстрее и дешевле. Навык не в том, чтобы уметь файнтюнить, а в том, чтобы точно увидеть разрыв и взять **самую лёгкую технику, которая его закрывает**. > **Вопрос рамки:** «Чего модели здесь на самом деле не хватает — пары фактов, доступа к большой меняющейся базе знаний или другого поведения? От этого зависит, какая из трёх техник мне нужна.» > Знание модели заморожено и обще — она не знает твоего мира. Промптинг, RAG и файнтюнинг закрывают разные разрывы, поэтому выбор начинается с диагноза. ## 2. Prompting: просто скажи Первая и самая дешёвая техника — положить то, что нужно модели, прямо в промпт. Это мгновенно, без обучения и сильнее, чем многие думают. С этого начинают всегда. ### Prompting / In-context Learning — положи нужное прямо в контекст > Брифинг толкового временного сотрудника перед задачей: вот ситуация, правила, пример хорошего результата. Он способный — ему просто нужен был контекст. Самый простой способ дать модели то, чего ей не хватает, — **положить это в промпт**: инструкции, нужные факты, формат ответа, пару примеров. Модель использует эту информацию сразу, без всякого обучения. Это называется **in-context learning** — обучение в контексте. Модели хорошо следуют ясным инструкциям. Поэтому удивительно часто «модель этого не умеет» на деле значит «я ей не объяснил». Промптинг надо исчерпать первым, а не последним. _Diagram: Промпт = инструкции + факты + формат + примеры. Веса модели не меняются, эффект мгновенный._ #### Prompting (In-context Learning, обучение в контексте) - **Что это:** Дать модели всё нужное прямо в тексте запроса. - **Как работает:** Модель читает инструкции, факты и примеры в контексте и опирается на них в этом ответе. - **Пример:** В промпт кладут правила возврата и пишут «отвечай коротко, в дружелюбном тоне» — и модель так и отвечает. - **Подвох:** Работает только на этот вызов и ограничен размером окна (см. **Context Window**). - **Связи:** Нижняя ступень **Decision Ladder**; **Few-shot** — его частный случай. ### Few-shot Prompting — научить поведению примерами, мгновенно > Показать три готовых примера ровно того, что хочешь, и попросить четвёртый. Шаблон выучен на месте, без всякой школы. Через промпт можно менять не только то, что модель _знает_, но и то, как она _себя ведёт_. Для этого ей **показывают примеры** — это **few-shot prompting**. Нужен конкретный формат, тон или способ решать задачу? Дай два-три примера, и модель повторит шаблон. Многое, для чего, как кажется, нужен файнтюнинг — единый стиль, конкретная форма ответа, — часто достигается примерами в контексте. Бесплатно и сразу. _Diagram: Три пары «вход → выход» в промпте — и новый ответ выходит в той же форме._ #### Few-shot Prompting (обучение на нескольких примерах) - **Что это:** Несколько примеров нужного результата прямо в промпте. - **Как работает:** Модель видит шаблон «вход → выход» и продолжает его. - **Пример:** Три примера резюме тикета в формате «Проблема / Причина / Решение» — и четвёртый тикет модель оформит так же. - **Подвох:** Примеры занимают место в окне и отправляются заново в каждом запросе. - **Связи:** Часто заменяет **Fine-tuning** для стиля и формата; первая проверка перед ним. ### Context Window — пределы промпта: окно и повторение > Брифинг работает на одну встречу. Но страниц можно вручить ограниченно, и каждый раз — заново. Для памятки нормально, для энциклопедии неудобно. У промптинга два настоящих предела. Первый — всё должно влезть в **окно контекста (context window)**: огромную базу знаний туда не вставишь. Второй — это **на каждый вызов**: ты отправляешь этот контекст каждый раз, платишь за него в каждом запросе, а модель никогда не _запоминает_ его между вызовами. Когда знание слишком большое для окна, постоянно меняется или ты бесконечно вставляешь один и тот же большой кусок — одного промптинга уже не хватает. Тут вступает следующая техника. _Diagram: Предел 1: в окно влезает памятка, но не энциклопедия. Предел 2: тот же контекст отправляется и оплачивается в каждом вызове._ #### Context Window (окно контекста) - **Что это:** Максимальный объём текста, который модель видит за один вызов. - **Как работает:** Всё, что ты хочешь дать модели, должно поместиться в окно — и уйти заново в следующем запросе. - **Пример:** Правила возврата на страницу — влезают. Вся база знаний компании на тысячи документов — нет. - **Подвох:** Большой контекст оплачивается в каждом запросе; модель его не «помнит». - **Связи:** Когда окна мало — поднимаешься к **RAG**. > **Вопрос промптинга:** «Я правда попробовал просто ясно сказать модели — инструкциями и парой примеров, — прежде чем решить, что нужно что-то тяжелее?» > Промптинг кладёт нужное модели прямо в контекст — факты, формат, примеры — мгновенно и без обучения. Это мощно и дёшево; пределы — только окно и повторение в каждом вызове. ## 3. RAG: вручи факты Когда знание слишком большое или слишком свежее для промпта, его не кладут целиком — достают нужный кусок в тот момент, когда он нужен. Это retrieval-augmented generation. ### RAG — достать нужные факты в момент ответа > Экзамен с открытой книгой: не зубришь всю библиотеку, а в момент вопроса открываешь несколько нужных страниц и отвечаешь по ним. **RAG (retrieval-augmented generation)** — генерация, дополненная поиском. В момент вопроса система ищет по твоим документам, достаёт самые подходящие **чанки (chunks)** — куски текста — и кладёт _их_ в контекст. Модель отвечает по ним. Так модель работает с твоими настоящими, текущими данными, ни разу их не выучив: ты даёшь ей нужную страницу ровно тогда, когда она нужна. (Курс о RAG разбирает это глубже; здесь — его место среди трёх техник.) _Diagram: Вопрос → поиск по документам → лучшие чанки в промпт → модель отвечает по ним._ #### RAG (Retrieval-Augmented Generation) - **Что это:** Поиск нужных фактов в твоих документах прямо перед ответом. - **Как работает:** Вопрос → поиск по индексу → топ-чанки → промпт с этими чанками → ответ модели. - **Пример:** Бот поддержки на вопрос «как вернуть заказ?» находит раздел о возвратах и отвечает по нему. - **Подвох:** Плохой поиск — плохой ответ. И RAG не меняет поведение модели, только её знание на этот ответ. - **Связи:** Средняя ступень **Decision Ladder**; отлично сочетается с **Fine-tuning** (**Fine-tune + RAG**). ### Grounding — опора на большое, меняющееся, приватное знание > Справочная библиотека, которую ты держишь актуальной. Когда факт меняется, ты не перепечатываешь мозг библиотекаря — ты обновляешь полку, и следующий поиск уже свежий. RAG силён ровно там, где промптинг буксует: база знаний слишком большая для окна, факты часто меняются, или это приватные данные, на которых модель никогда не училась. Обнови документ — и следующий ответ сразу это учтёт, без переобучения. Это называется **grounding** — заземление ответа модели в твоих конкретных, текущих, возможно конфиденциальных данных. Когда разрыв звучит как «ей нужно знать вещи», особенно меняющиеся, — ответ обычно RAG. _Diagram: Обновил прайс-лист → индекс обновился → следующий ответ уже по новой версии. Без переобучения._ #### Grounding (заземление на источник) - **Что это:** Ответ модели опирается на твои реальные источники, а не на её память. - **Как работает:** Документы обновляются в индексе; каждый ответ строится по тому, что найдено сейчас. - **Пример:** Утром поменяли прайс-лист — к обеду бот уже называет новые цены. - **Подвох:** Устаревшие или противоречивые документы в индексе дадут такие же ответы. - **Связи:** Даётся через **RAG**; именно этого не может дать **Fine-tuning** для фактов. ### RAG добавляет знание, а не новое поведение > Дай человеку справочники получше — он станет осведомлённее, но его стиль письма не изменится и нового навыка не появится. Факты внутрь, не привычки. Главное про RAG: он меняет то, что модель _знает для этого ответа_, а не то, как она _ведёт себя_ в целом. Навыки, стиль и рассуждение модели остаются прежними — ты просто дал ей факты получше. Поэтому RAG — правильный инструмент для **разрыва знания** и неправильный для **разрыва поведения**. Если нужно, чтобы модель стабильно отвечала определённым образом, больше найденных документов туда не приведут. Это указывает на третью технику. _Diagram: Через RAG модель знает больше, но её веса и поведение те же._ > **Вопрос RAG:** «Разрыв в том, что модели нужно знать вещи — большие, свежие или приватные факты, — а не вести себя иначе? Тогда мне нужен RAG, а не файнтюнинг.» > RAG достаёт нужные факты в момент ответа и заземляет модель в знании, слишком большом, свежем или приватном для промпта. Он меняет то, что модель знает, — а не то, как она себя ведёт. ## 4. Fine-tuning: меняй веса Самая тяжёлая техника меняет саму модель. Только она меняет въевшееся поведение — и именно за ней тянутся слишком рано и по неверным причинам. ### Fine-tuning — дообучить модель на своих примерах > Не брифинг сотрудника под одну задачу, а обучение, после которого он по умолчанию работает по-новому. Новый способ вшит, а не выдаётся каждый раз. **Файнтюнинг (fine-tuning)** берёт готовую модель и дообучает её на наборе твоих примеров. При этом меняются её внутренние **веса (weights)** — числа, в которых хранится всё, что модель умеет. Новое поведение становится частью самой модели. Промптинг и RAG добавляют информацию в момент ответа и оставляют модель прежней. Файнтюнинг _меняет модель_. В итоге она ведёт себя по-твоему по умолчанию — без инструкций и примеров в каждом промпте: она их уже выучила. _Diagram: Базовая модель + твои примеры → обучение → новая модель с поведением, вшитым в веса._ #### Fine-tuning (файнтюнинг, дообучение) - **Что это:** Дообучение готовой модели на твоих примерах «вход → выход». - **Как работает:** Обучение подстраивает веса модели, чтобы она сама выдавала нужный выход на похожий вход. - **Пример:** Модель дообучили на тысячах ответов поддержки — теперь она без инструкций пишет фирменным голосом. - **Подвох:** Нужны качественные данные, обучение, экспертиза — и переобучение, когда всё меняется. - **Связи:** Верхняя ступень **Decision Ladder**; дешевле через **LoRA / PEFT**; сочетается с **RAG**. ### Чему учит файнтюнинг: поведение, формат, стиль > Обучение, после которого универсал надёжно пишет фирменным голосом или делает твою задачу одинаково каждый раз. Выученная привычка, а не напоминание. В чём файнтюнинг по-настоящему хорош — это **поведение**: стабильный тон или фирменный стиль, конкретный формат ответа, узкая задача, которую модель делает снова и снова, или язык, которым говорит твой домен. Если у тебя много примеров «такой вход → такой выход», файнтюнинг вшивает этот шаблон глубоко и надёжно — надёжнее, чем примеры в промпте. Он формирует, _как_ модель отвечает, и записывает это в веса. _Diagram: Разные входы → дообученная модель → стабильно один тон, один формат, один ход решения._ ### LoRA / PEFT — дешевле, но не бесплатно > Отправить человека на настоящую программу обучения — это время, деньги и учебный план. А когда работа меняется, учить приходится заново. Файнтюнинг — дорогой вариант. Ему нужен качественный набор примеров (часто большой), процесс обучения и экспертиза. И это не разовая трата: когда что-то меняется, ты переобучаешь. **LoRA (Low-Rank Adaptation)** и другие **параметр-эффективные методы (PEFT, parameter-efficient fine-tuning)** удешевляют его: они подстраивают лишь малую часть модели, а не все веса. Это снизило порог входа — но файнтюнинг всё равно намного тяжелее промптинга и RAG. _Diagram: LoRA: основные веса заморожены, обучается лишь маленький адаптер сбоку._ _Diagram: Цикл файнтюнинга: данные → обучение → выкатка → мир меняется → переобучай. Это не разовая цена._ #### LoRA / PEFT (Low-Rank Adaptation, parameter-efficient fine-tuning) - **Что это:** Способ дообучать модель, меняя только маленькую часть параметров. - **Как работает:** Основные веса заморожены; обучается небольшой «адаптер», который подключается к модели. - **Пример:** Вместо дообучения всей модели под фирменный стиль обучают лёгкий LoRA-адаптер. - **Подвох:** Дешевле — не значит дёшево: данные, обучение и переобучение никуда не делись. - **Связи:** Удешевляет **Fine-tuning**, но не отменяет **Decision Ladder**. > **Вопрос файнтюнинга:** «Мне нужно, чтобы модель по умолчанию вела себя иначе — стабильный стиль, формат или повторяющаяся задача, — и у меня есть достаточно примеров, чтобы научить, и бюджет, чтобы поддерживать?» > Файнтюнинг переобучает веса модели, и новое поведение вшито — отлично для стиля, формата и повторяющихся задач. Но это дорогой вариант: данные, обучение и постоянная поддержка, даже с LoRA. ## 5. Form vs Facts: форма против фактов Одно различие снимает почти всю путаницу между файнтюнингом и RAG и уберегает от самой частой дорогой ошибки. Пойми его — и выбор обычно делается сам. ### Form vs Facts — файнтюнинг учит форме, RAG — фактам > Человека учат, как писать отчёт (выученный навык), но данные для отчёта ему выдают (смотрит каждый раз). Навык обучен, факты достаются. Правило, которое всё проясняет: **файнтюнинг — для того, _как_ модель отвечает; RAG — для того, _что_ она знает.** Файнтюнинг учит **форме (form)** — стилю, тону, формату, форме задачи — и вшивает её в веса. RAG поставляет **факты (facts)** — текущую, конкретную, приватную информацию — и достаёт их в момент ответа. Один меняет поведение, другой — знание. Почти любой вопрос «файнтюнить или RAG?» исчезает, как только спросишь: это разрыв формы или фактов? _Diagram: Слева форма — её учит файнтюнинг. Справа факты — их приносит RAG._ #### Form vs Facts (форма против фактов) - **Что это:** Главное правило выбора между файнтюнингом и RAG. - **Как работает:** Разрыв формы (стиль, формат, тон) → файнтюнинг. Разрыв фактов (свежие, конкретные, приватные) → RAG. - **Пример:** «Пиши как наш юрист» — форма. «Знай условия наших договоров» — факты. - **Подвох:** Сначала всё равно попробуй промпт: форму часто даёт **Few-shot**, а мелкие факты — сам промпт. - **Связи:** Объясняет **Fine-tune for Facts** (ошибку) и **Fine-tune + RAG** (сочетание). ### Fine-tuning for Facts — дорогая ошибка > Отправить человека в школу зубрить телефонную книгу, которая меняется каждую неделю. Пока выучил — она уже неверна, и на каждое обновление надо учить заново. Самая частая дорогая ошибка — файнтюнить, чтобы добавить **факты**, которые модель должна знать. Это **антипаттерн (anti-pattern)**: работает в основном плохо, стоит дорого, и хуже всего — факты замерзают в момент окончания обучения. Как только данные меняются, дообученная модель устарела, и надо переобучать. Меняющимся фактам место в RAG, где обновление мгновенное. Файнтюнить ради знаний — значит делать трудное и хрупкое там, где рядом лежит лёгкое и свежее. _Diagram: Сверху: дообучили на v1, данные стали v2 — модель устарела, переобучай. Снизу: RAG — обновил документ, ответ уже по v2._ #### Fine-tuning for Facts (файнтюнинг ради знаний) - **Что это:** Попытка «вложить» факты в модель через дообучение. - **Почему плохо:** Работает плохо, стоит дорого, а факты устаревают в момент окончания обучения. - **Пример:** Дообучили модель на прайс-листе — через неделю цены поменялись, модель называет старые. - **Что вместо:** Факты — в **RAG**, где обновил документ и всё. - **Связи:** Прямое нарушение **Form vs Facts**. ### Fine-tune + RAG — форму файнтюнишь, факты достаёшь > Специалист, которого обучили, как делать работу (файнтюнинг), и который ещё сверяется с всегда свежим справочником (RAG). Лучшее от обоих — каждый делает то, в чём силён. Это не соперники. Сильные системы часто используют оба: модель дообучают под поведение и стиль домена _и_ через RAG кормят её текущими фактами в момент ответа. Форма — от файнтюнинга, факты — от поиска. Видеть их как дополнение, а не конкуренцию, — признак того, что различие понято. Ты не выбираешь одну технику — ты применяешь каждую к той части задачи, для которой она подходит. _Diagram: RAG приносит свежие факты, дообученная модель отвечает в нужной форме._ #### Fine-tune + RAG (гибрид: форма + факты) - **Проблема:** Нужны и стабильная форма ответа, и свежие факты. - **Идея:** Файнтюнинг даёт поведение, RAG в момент ответа даёт знание. - **Пример:** Юридический ассистент дообучен писать в стиле фирмы и через RAG цитирует актуальные договоры. - **Цена:** Две системы, которые надо строить и поддерживать. - **Когда брать:** Когда промпт + RAG доказуемо не дают нужной формы. - **Связи:** Прямое применение **Form vs Facts**. > **Вопрос различия:** «Этот разрыв про то, как модель должна отвечать (форма — к файнтюнингу), или про то, что она должна знать (факты — к RAG)? И не собираюсь ли я по ошибке файнтюнить ради фактов?» > Файнтюнинг учит форме — стилю, формату, поведению; RAG даёт факты — текущее, конкретное знание. Классическая дорогая ошибка — файнтюнить ради фактов, которые замерзают в момент окончания обучения. ## 6. Decision Ladder: лестница решения Сложи три техники вместе — получится лестница растущей цены и силы. Дисциплина та же, что везде в инженерии: поднимайся ровно настолько, насколько заставляет задача. ### Decision Ladder — начинай снизу, с промптинга > Прежде чем покупать курс обучения, попробуй просто ясно объяснить задачу. Чаще всего этого и хватало. **Лестница решения (decision ladder)** идёт от дешёвого и мгновенного к дорогому и медленному: **промптинг**, потом **RAG**, потом **файнтюнинг**. Всегда начинай снизу. Сначала — ясные инструкции и пара примеров. Огромная часть задач решается прямо там, бесплатно и за минуты. Поднимаешься, только когда промпт по-настоящему не закрывает разрыв. Начать сверху — сразу к файнтюнингу — это дорогая ошибка новичка с бюджетом. _Diagram: Три ступени: промптинг → RAG → файнтюнинг. Выше — дороже и мощнее. Поднимайся, только когда ступень ниже не справилась._ #### Decision Ladder (лестница решения) - **Что это:** Порядок выбора: промптинг → RAG → файнтюнинг. - **Как работает:** Начинаешь с самой дешёвой ступени и поднимаешься, только когда она доказуемо провалилась. - **Пример:** Бот путает тарифы → сначала положи их в промпт; тарифов тысячи и они меняются → RAG; тон всё равно не тот, а примеры не помогают → думай о файнтюнинге. - **Подвох:** Соблазн прыгнуть наверх, потому что файнтюнинг «звучит серьёзнее». - **Связи:** Ступени — **Prompting**, **RAG**, **Fine-tuning**; проверка — **Evals**. ### Поднимайся, только когда ступень ниже не достаёт > К большому инструменту переходят, когда маленький реально не справился, — а не потому, что большой звучит солиднее. Поднимайся к **RAG**, когда знание слишком большое, свежее или приватное для промпта — это явный разрыв знания, который промпт не закроет. Поднимайся к **файнтюнингу**, когда нужно стабильное поведение, которого промпт и примеры надёжно не дают, и у тебя есть данные и бюджет, чтобы научить. Каждая ступень оправдана только провалом ступени ниже. Вопрос на каждом шаге: более дешёвая техника реально не справилась — или я просто предполагаю, что не справится? _Diagram: Сначала промпт. Решено — выпускай. Нет — смотри, чего не хватает: фактов (RAG) или поведения (файнтюнинг)._ ### Большинству продуктов верхняя ступень не нужна никогда > Большинство работ делается хорошим брифингом и справочником. Полное переобучение — исключение для редкого случая, который его правда требует. Честная правда: подавляющему большинству LLM-приложений хватает промптинга и RAG, а файнтюнинг не нужен вовсе. Файнтюнинг — настоящий и мощный инструмент для конкретного случая: въевшееся поведение в масштабе. Но это исключение, а не дефолт. Относись к нему как к последнему средству — когда лёгкие ступени доказуемо провалились. Это приведёт к верному выбору намного чаще, чем тянуться к нему, потому что он звучит продвинуто. > **Вопрос лестницы:** «Более дешёвые ступени — промптинг, потом RAG — реально провалились? Или я лезу к файнтюнингу, потому что он звучит мощнее, чем нужно?» > Лестница — это промптинг, потом RAG, потом файнтюнинг: цена и сила растут. Начинай снизу и поднимайся, только когда ступень ниже правда не справилась. Большинству продуктов верх не нужен. ## 7. Применять хорошо Выбрать хорошо — значит честно поставить диагноз и измерить, сработала ли починка. Та же инженерная дисциплина, что и во всём остальном с моделями. ### Gap Diagnosis — диагноз до выбора инструмента > Хороший врач ставит диагноз до того, как назначить лечение. Он не тянется к операции, потому что она эффектна, — сначала выясняет, что не так. Всё решение держится на точном названии разрыва. Модели не хватает _фактов_ (RAG), нужна более ясная _инструкция_ (промптинг) или другое _поведение_, вшитое в веса (файнтюнинг)? Это **gap diagnosis** — диагностика разрыва. Большинство неверных выборов — от пропуска этого шага и прыжка сразу к технике. Спроси, чего реально не хватает, подбери самый лёгкий инструмент — и избежишь дорогих крюков, особенно главного: файнтюнинга ради фактов. _Diagram: Модель не справляется → диагноз «чего не хватает?» → инструкции — промптинг, факты — RAG, поведение — файнтюнинг._ #### Gap Diagnosis (диагностика разрыва) - **Что это:** Назвать, чего именно не хватает модели, прежде чем выбирать технику. - **Как работает:** Три вопроса: не хватает инструкции? фактов? поведения? Ответ указывает на технику. - **Пример:** «Бот отвечает неправильно» → смотришь ответы → он не знает свежих правил → это факты → RAG. - **Подвох:** Пропустить диагноз, потому что хочется попробовать модную технику. - **Связи:** Опирается на **Knowledge Gap vs Behaviour Gap**; первый шаг **Decision Ladder**. ### Evals — измерь, сработало ли на самом деле > Ты не предполагаешь, что обучение помогло, — ты проверяешь работу сотрудника после него и смотришь, стала ли она лучше. Какую бы технику ты ни взял, проверяй её **эвалами (evals)** — тестами на реальных случаях: стали ли ответы лучше? Лучший промпт, RAG-конвейер, файнтюн — каждый из них гипотеза, которую подтверждают измерением, а не ощущением. Для файнтюнинга это вдвойне важно: цена высокая, и смутное «вроде стало лучше» его не оправдывает. Измерение держит тебя честным — заслужила ли тяжёлая техника своё место над лёгкой. _Diagram: Гипотеза → эвалы на реальных случаях → стало лучше — оставляем, нет — откатываемся к более лёгкому инструменту._ #### Evals (эвалы, оценка на реальных случаях) - **Что это:** Набор реальных случаев, на которых измеряют качество ответов. - **Как работает:** Прогоняешь старый и новый вариант на одних и тех же случаях и сравниваешь оценки. - **Пример:** Сто настоящих вопросов клиентов: доля правильных ответов до файнтюнинга и после. - **Подвох:** «Кажется лучше» — не измерение; без эвалов дорогой выбор не оправдан. - **Связи:** Проверяет каждую ступень **Decision Ladder**. ### Как всё связано > Аптечка: у каждого средства своя болезнь, и врач выбирает по диагнозу, а потом смотрит, помогло ли. Понятия курса складываются в одну картину. **Диагноз разрыва** указывает на технику: инструкция — промптинг, факты — RAG, поведение — файнтюнинг. Промптинг включает **few-shot**; файнтюнинг дешевеет через **LoRA**; RAG и файнтюнинг сочетаются в **гибрид**. А **эвалы** проверяют каждый выбор. _Diagram: Диагноз → одна из трёх техник (пунктир — подъём по лестнице) → их варианты → эвалы проверяют всё._ #### Прежде чем браться за технику - **Какой разрыв** — факты, более ясная инструкция или другое поведение? - **Пробовал ли ты промптинг** — ясные инструкции и пару примеров — первым? - **Это разрыв знания** — большие, свежие или приватные факты — указывающий на RAG? - **Это разрыв поведения** — стабильная форма, стиль, повторяющаяся задача — указывающий на файнтюнинг? - **Для файнтюнинга:** есть ли примеры и бюджет, включая постоянную поддержку? - **Меряешь ли ты**, улучшила ли выбранная техника ответы? #### Признаки, что ты выбираешь хорошо - Ты **ставишь диагноз** — факты, инструкция или поведение — до выбора техники. - Ты **начинаешь с промптинга** и поднимаешься, только когда он правда не справился. - Ты используешь **RAG для знания** и **файнтюнинг для поведения** и никогда не файнтюнишь ради фактов. - Ты **сочетаешь** их, когда это помогает: форма от файнтюнинга, факты от RAG. - Ты **меряешь** эвалами и считаешь файнтюнинг оправданным последним средством, а не дефолтом. ## Шпаргалка: все 15 понятий ### Разрыв - **Knowledge Cutoff** (отсечка знаний): Знание модели заморожено на дате и взято из публичного интернета. - **Knowledge vs Behaviour Gap** (разрыв знания / поведения): Модели не хватает фактов — или не хватает нужного поведения. ### Prompting - **Prompting** (in-context learning): Положить инструкции, факты и формат прямо в промпт. Мгновенно, без обучения. - **Few-shot Prompting** (несколько примеров): Два-три примера «вход → выход» — модель повторит шаблон. - **Context Window** (окно контекста): Предел промпта: всё должно влезть и отправляется заново в каждом вызове. ### RAG - **RAG** (retrieval-augmented generation): Найти нужные куски документов в момент вопроса и ответить по ним. - **Grounding** (заземление): Ответ опирается на твои текущие источники; обновил документ — обновился ответ. ### Fine-tuning - **Fine-tuning** (дообучение): Дообучить веса на своих примерах — поведение вшито по умолчанию. - **LoRA / PEFT** (параметр-эффективное обучение): Обучать только маленький адаптер — дешевле, но не бесплатно. ### Форма против фактов - **Form vs Facts** (форма против фактов): Файнтюнинг — как модель отвечает; RAG — что она знает. - **Fine-tuning for Facts** (антипаттерн): Файнтюнить ради фактов: дорого, плохо, факты сразу устаревают. - **Fine-tune + RAG** (гибрид): Форма от файнтюнинга, свежие факты от RAG. ### Выбор - **Decision Ladder** (лестница решения): Промптинг → RAG → файнтюнинг; поднимайся, только когда ступень ниже не справилась. - **Gap Diagnosis** (диагностика разрыва): Сначала назови, чего не хватает, потом выбирай инструмент. - **Evals** (эвалы): Измерь на реальных случаях, стало ли лучше. > Поставь диагноз, потом поднимайся по лестнице: промптинг для инструкции, RAG для фактов, файнтюнинг для поведения. Бери самую лёгкую технику, что работает, сочетай их, когда помогает, и измеряй результат. Конец экспресс-курса · 7 глав · 15 понятий Дальше — практика: возьми случай, где модель не справляется, и назови разрыв вслух — факты, инструкция или поведение. Сначала попробуй починить промптом; если нужно свежее или приватное знание — бери RAG; файнтюнинг рассматривай, только если нужно въевшееся поведение, которого примеры не дают. Потом измерь, стало ли лучше. Решение «щёлкает» в тот момент, когда ловишь себя на желании файнтюнить ради фактов — и берёшь RAG. Держи одну мысль выше остальных: файнтюнинг учит форме, RAG — фактам, а начинаешь ты с промпта. Выбирай самую лёгкую из трёх, которая закрывает реальный разрыв, — обычно это не та, что звучит впечатляюще.