Knowledge Cutoff — знание заморожено и обще

Блестящий выпускник, который годы назад прочёл огромную библиотеку, — но не файлы твоей компании и ничего, что вышло после его выпуска.

Модель знает только то, что было в её обучающих данных (training data). Эти данные взяты из публичного интернета и заморожены на дате отсечки (knowledge cutoff). Знание широкое и общее — но про твои приватные данные, твой узкий домен и всё, что случилось после обучения, модель не знает ничего.

Поэтому из коробки она не ответит про твой продукт, не попадёт в твой стиль и не знает цифр прошлой недели. Весь этот курс — про то, как закрыть разрыв между общим знанием модели и твоим конкретным миром.

Knowledge Gap vs Behaviour Gap — три разных разрыва

Новичку может быть нужен брифинг, картотека, в которую он будет заглядывать, или настоящее обучение, которое меняет то, как он работает. Три разных разрыва — три разные починки.

Разрыв бывает разной формы, и чинится он по-разному. Иногда модели нужно знать пару фактов для этой задачи. Иногда — опираться на большой, меняющийся свод знаний. Иногда — вести себя иначе: держать формат, тон или навык.

Это knowledge gap (разрыв знания) и behaviour gap (разрыв поведения). Им соответствуют три техники: сказать ей (промптинг), дать источник знаний (RAG) или переобучить (файнтюнинг). Назвать, какой разрыв у тебя, — это и есть почти всё решение.

Карта: 15 понятий в шести группах

Карта метро: сначала видишь линии целиком, потом едешь по станциям.

Все понятия курса делятся на шесть групп. Сначала — сам разрыв. Потом три техники по возрастанию цены: промптинг, RAG, файнтюнинг. Потом главное различие между ними. И в конце — как выбирать и проверять выбор.

Как читать курс

Ты не отправляешь человека на год обучения, если хватило бы памятки на одну страницу. Усилие подбирают под то, чего реально не хватает.

У каждого понятия одно и то же: английское название (запомни его — это термин из документации и статей), образ из жизни, схема и карточка с полями что это, как работает, пример, подвох и связи.

Главная идея курса: техники сильно различаются по цене, скорости и тому, для чего хороши. Самая частая ошибка — прыгнуть сразу к файнтюнингу, самому тяжёлому варианту, когда промпт или RAG решили бы задачу быстрее и дешевле. Навык не в том, чтобы уметь файнтюнить, а в том, чтобы точно увидеть разрыв и взять самую лёгкую технику, которая его закрывает.

Prompting / In-context Learning — положи нужное прямо в контекст

Брифинг толкового временного сотрудника перед задачей: вот ситуация, правила, пример хорошего результата. Он способный — ему просто нужен был контекст.

Самый простой способ дать модели то, чего ей не хватает, — положить это в промпт: инструкции, нужные факты, формат ответа, пару примеров. Модель использует эту информацию сразу, без всякого обучения. Это называется in-context learning — обучение в контексте.

Модели хорошо следуют ясным инструкциям. Поэтому удивительно часто «модель этого не умеет» на деле значит «я ей не объяснил». Промптинг надо исчерпать первым, а не последним.

Few-shot Prompting — научить поведению примерами, мгновенно

Показать три готовых примера ровно того, что хочешь, и попросить четвёртый. Шаблон выучен на месте, без всякой школы.

Через промпт можно менять не только то, что модель знает, но и то, как она себя ведёт. Для этого ей показывают примеры — это few-shot prompting. Нужен конкретный формат, тон или способ решать задачу? Дай два-три примера, и модель повторит шаблон.

Многое, для чего, как кажется, нужен файнтюнинг — единый стиль, конкретная форма ответа, — часто достигается примерами в контексте. Бесплатно и сразу.

Context Window — пределы промпта: окно и повторение

Брифинг работает на одну встречу. Но страниц можно вручить ограниченно, и каждый раз — заново. Для памятки нормально, для энциклопедии неудобно.

У промптинга два настоящих предела. Первый — всё должно влезть в окно контекста (context window): огромную базу знаний туда не вставишь. Второй — это на каждый вызов: ты отправляешь этот контекст каждый раз, платишь за него в каждом запросе, а модель никогда не запоминает его между вызовами.

Когда знание слишком большое для окна, постоянно меняется или ты бесконечно вставляешь один и тот же большой кусок — одного промптинга уже не хватает. Тут вступает следующая техника.

RAG — достать нужные факты в момент ответа

Экзамен с открытой книгой: не зубришь всю библиотеку, а в момент вопроса открываешь несколько нужных страниц и отвечаешь по ним.

RAG (retrieval-augmented generation) — генерация, дополненная поиском. В момент вопроса система ищет по твоим документам, достаёт самые подходящие чанки (chunks) — куски текста — и кладёт их в контекст. Модель отвечает по ним.

Так модель работает с твоими настоящими, текущими данными, ни разу их не выучив: ты даёшь ей нужную страницу ровно тогда, когда она нужна. (Курс о RAG разбирает это глубже; здесь — его место среди трёх техник.)

Grounding — опора на большое, меняющееся, приватное знание

Справочная библиотека, которую ты держишь актуальной. Когда факт меняется, ты не перепечатываешь мозг библиотекаря — ты обновляешь полку, и следующий поиск уже свежий.

RAG силён ровно там, где промптинг буксует: база знаний слишком большая для окна, факты часто меняются, или это приватные данные, на которых модель никогда не училась. Обнови документ — и следующий ответ сразу это учтёт, без переобучения.

Это называется grounding — заземление ответа модели в твоих конкретных, текущих, возможно конфиденциальных данных. Когда разрыв звучит как «ей нужно знать вещи», особенно меняющиеся, — ответ обычно RAG.

RAG добавляет знание, а не новое поведение

Дай человеку справочники получше — он станет осведомлённее, но его стиль письма не изменится и нового навыка не появится. Факты внутрь, не привычки.

Главное про RAG: он меняет то, что модель знает для этого ответа, а не то, как она ведёт себя в целом. Навыки, стиль и рассуждение модели остаются прежними — ты просто дал ей факты получше.

Поэтому RAG — правильный инструмент для разрыва знания и неправильный для разрыва поведения. Если нужно, чтобы модель стабильно отвечала определённым образом, больше найденных документов туда не приведут. Это указывает на третью технику.

Fine-tuning — дообучить модель на своих примерах

Не брифинг сотрудника под одну задачу, а обучение, после которого он по умолчанию работает по-новому. Новый способ вшит, а не выдаётся каждый раз.

Файнтюнинг (fine-tuning) берёт готовую модель и дообучает её на наборе твоих примеров. При этом меняются её внутренние веса (weights) — числа, в которых хранится всё, что модель умеет. Новое поведение становится частью самой модели.

Промптинг и RAG добавляют информацию в момент ответа и оставляют модель прежней. Файнтюнинг меняет модель. В итоге она ведёт себя по-твоему по умолчанию — без инструкций и примеров в каждом промпте: она их уже выучила.

Чему учит файнтюнинг: поведение, формат, стиль

Обучение, после которого универсал надёжно пишет фирменным голосом или делает твою задачу одинаково каждый раз. Выученная привычка, а не напоминание.

В чём файнтюнинг по-настоящему хорош — это поведение: стабильный тон или фирменный стиль, конкретный формат ответа, узкая задача, которую модель делает снова и снова, или язык, которым говорит твой домен.

Если у тебя много примеров «такой вход → такой выход», файнтюнинг вшивает этот шаблон глубоко и надёжно — надёжнее, чем примеры в промпте. Он формирует, как модель отвечает, и записывает это в веса.

LoRA / PEFT — дешевле, но не бесплатно

Отправить человека на настоящую программу обучения — это время, деньги и учебный план. А когда работа меняется, учить приходится заново.

Файнтюнинг — дорогой вариант. Ему нужен качественный набор примеров (часто большой), процесс обучения и экспертиза. И это не разовая трата: когда что-то меняется, ты переобучаешь.

LoRA (Low-Rank Adaptation) и другие параметр-эффективные методы (PEFT, parameter-efficient fine-tuning) удешевляют его: они подстраивают лишь малую часть модели, а не все веса. Это снизило порог входа — но файнтюнинг всё равно намного тяжелее промптинга и RAG.

Form vs Facts — файнтюнинг учит форме, RAG — фактам

Человека учат, как писать отчёт (выученный навык), но данные для отчёта ему выдают (смотрит каждый раз). Навык обучен, факты достаются.

Правило, которое всё проясняет: файнтюнинг — для того, как модель отвечает; RAG — для того, что она знает. Файнтюнинг учит форме (form) — стилю, тону, формату, форме задачи — и вшивает её в веса. RAG поставляет факты (facts) — текущую, конкретную, приватную информацию — и достаёт их в момент ответа.

Один меняет поведение, другой — знание. Почти любой вопрос «файнтюнить или RAG?» исчезает, как только спросишь: это разрыв формы или фактов?

Fine-tuning for Facts — дорогая ошибка

Отправить человека в школу зубрить телефонную книгу, которая меняется каждую неделю. Пока выучил — она уже неверна, и на каждое обновление надо учить заново.

Самая частая дорогая ошибка — файнтюнить, чтобы добавить факты, которые модель должна знать. Это антипаттерн (anti-pattern): работает в основном плохо, стоит дорого, и хуже всего — факты замерзают в момент окончания обучения.

Как только данные меняются, дообученная модель устарела, и надо переобучать. Меняющимся фактам место в RAG, где обновление мгновенное. Файнтюнить ради знаний — значит делать трудное и хрупкое там, где рядом лежит лёгкое и свежее.

Fine-tune + RAG — форму файнтюнишь, факты достаёшь

Специалист, которого обучили, как делать работу (файнтюнинг), и который ещё сверяется с всегда свежим справочником (RAG). Лучшее от обоих — каждый делает то, в чём силён.

Это не соперники. Сильные системы часто используют оба: модель дообучают под поведение и стиль домена и через RAG кормят её текущими фактами в момент ответа. Форма — от файнтюнинга, факты — от поиска.

Видеть их как дополнение, а не конкуренцию, — признак того, что различие понято. Ты не выбираешь одну технику — ты применяешь каждую к той части задачи, для которой она подходит.

Decision Ladder — начинай снизу, с промптинга

Прежде чем покупать курс обучения, попробуй просто ясно объяснить задачу. Чаще всего этого и хватало.

Лестница решения (decision ladder) идёт от дешёвого и мгновенного к дорогому и медленному: промптинг, потом RAG, потом файнтюнинг. Всегда начинай снизу.

Сначала — ясные инструкции и пара примеров. Огромная часть задач решается прямо там, бесплатно и за минуты. Поднимаешься, только когда промпт по-настоящему не закрывает разрыв. Начать сверху — сразу к файнтюнингу — это дорогая ошибка новичка с бюджетом.

Поднимайся, только когда ступень ниже не достаёт

К большому инструменту переходят, когда маленький реально не справился, — а не потому, что большой звучит солиднее.

Поднимайся к RAG, когда знание слишком большое, свежее или приватное для промпта — это явный разрыв знания, который промпт не закроет. Поднимайся к файнтюнингу, когда нужно стабильное поведение, которого промпт и примеры надёжно не дают, и у тебя есть данные и бюджет, чтобы научить.

Каждая ступень оправдана только провалом ступени ниже. Вопрос на каждом шаге: более дешёвая техника реально не справилась — или я просто предполагаю, что не справится?

Большинству продуктов верхняя ступень не нужна никогда

Большинство работ делается хорошим брифингом и справочником. Полное переобучение — исключение для редкого случая, который его правда требует.

Честная правда: подавляющему большинству LLM-приложений хватает промптинга и RAG, а файнтюнинг не нужен вовсе. Файнтюнинг — настоящий и мощный инструмент для конкретного случая: въевшееся поведение в масштабе. Но это исключение, а не дефолт.

Относись к нему как к последнему средству — когда лёгкие ступени доказуемо провалились. Это приведёт к верному выбору намного чаще, чем тянуться к нему, потому что он звучит продвинуто.

Gap Diagnosis — диагноз до выбора инструмента

Хороший врач ставит диагноз до того, как назначить лечение. Он не тянется к операции, потому что она эффектна, — сначала выясняет, что не так.

Всё решение держится на точном названии разрыва. Модели не хватает фактов (RAG), нужна более ясная инструкция (промптинг) или другое поведение, вшитое в веса (файнтюнинг)? Это gap diagnosis — диагностика разрыва.

Большинство неверных выборов — от пропуска этого шага и прыжка сразу к технике. Спроси, чего реально не хватает, подбери самый лёгкий инструмент — и избежишь дорогих крюков, особенно главного: файнтюнинга ради фактов.

Evals — измерь, сработало ли на самом деле

Ты не предполагаешь, что обучение помогло, — ты проверяешь работу сотрудника после него и смотришь, стала ли она лучше.

Какую бы технику ты ни взял, проверяй её эвалами (evals) — тестами на реальных случаях: стали ли ответы лучше? Лучший промпт, RAG-конвейер, файнтюн — каждый из них гипотеза, которую подтверждают измерением, а не ощущением.

Для файнтюнинга это вдвойне важно: цена высокая, и смутное «вроде стало лучше» его не оправдывает. Измерение держит тебя честным — заслужила ли тяжёлая техника своё место над лёгкой.

Как всё связано

Аптечка: у каждого средства своя болезнь, и врач выбирает по диагнозу, а потом смотрит, помогло ли.

Понятия курса складываются в одну картину. Диагноз разрыва указывает на технику: инструкция — промптинг, факты — RAG, поведение — файнтюнинг. Промптинг включает few-shot; файнтюнинг дешевеет через LoRA; RAG и файнтюнинг сочетаются в гибрид. А эвалы проверяют каждый выбор.