Карта: 22 понятия в семи группах

Карта метро: сначала видишь линии целиком, потом едешь по станциям.

Сначала три основы — почему памяти модели мало, что такое RAG и зачем нужно заземление. Дальше шесть групп, по одной на главу: чанкинг, эмбеддинги и поиск, качество извлечения, заземление, оценка и как строить хорошо.

У каждого понятия дальше одно и то же: английское название (запомни его — это термин), образ из жизни, схема и карточка с полями: что это или проблема, как работает или идея, пример, подвох или цена и связи.

Knowledge Cutoff — память модели заморожена

Блестящий выпускник, что прочёл всю библиотеку годы назад, — но не файлы твоей компании и ничего, напечатанного с его выпуска.

LLM знает только то, что было в её обучающих данных, замороженных на дате отсечки — knowledge cutoff. Она не знает твоих документов, твоего продукта, записи твоего клиента или вчерашних новостей. Спроси всё равно — и она ответит из размытой памяти или выдумает что-то правдоподобное. RAG существует, чтобы починить ровно это: перестань полагаться на то, что модель запомнила, и вручи ей нужные факты в момент вопроса.

RAG — сначала извлеки, потом отвечай

Экзамен с открытой книгой — вместо того чтобы доверять памяти, ты сначала смотришь нужные страницы, а потом пишешь ответ по тому, что перед тобой.

Это паттерн Retrieval-Augmented Generation (RAG) — генерация, дополненная извлечением. Три шага: retrieve — по вопросу пользователя достать самые релевантные чанки твоих документов; augment — положить их в контекст; generate — попросить модель ответить по ним. Теперь ответ идёт из твоих настоящих данных, а не из воспоминаний модели. Так ассистент отвечает про твою документацию, твои политики, твою базу знаний — точно и актуально.

Grounding — вот настоящий приз

Журналист, что обязан цитировать источник на каждое утверждение, выдумывает куда меньше, чем тот, кто пишет по памяти.

Глубокая причина, почему RAG важен, — заземление (grounding): поскольку ответ взят из извлечённого текста, ты можешь требовать цитаты и проверять, что каждое утверждение реально подкреплено источником. Это не стирает галлюцинацию целиком, но режет её и делает то, что проскользнуло, ловимым. Ответ, что ты можешь проследить до документа, — это ответ, которому можно доверять и который можно защитить.

Retrieval-first — это система поиска с моделью на конце

Научный ассистент хорош ровно настолько, насколько картотека, в которой он ищет, — дай ему отличную библиотеку и плохой индекс, и он всё равно вручит не ту папку.

Ментальная модель, что сэкономит тебе месяцы: RAG — это в основном задача поиска (search problem), с языковой моделью на конце, чтобы сформулировать ответ. Модель — лёгкая, в основном решённая часть. Тяжёлая, определяющая качество часть — всё, что решает, какой текст доходит до модели, — и это остаток курса.

Chunk — единица качества

Справочник полезен, только разрезанный на находимые статьи, — один гигантский неиндексированный свиток или тысяча рваных клочков одинаково бесполезны для поиска.

Ты извлекаешь не целые документы, а чанки (chunks) — пассажи в несколько сотен слов. Процесс нарезки называется chunking. Чанк — это единица, что видит поиск и читает модель, так что его границы важны колоссально. Хорошие чанки самодостаточны и на одну тему. Сделай чанкинг неверно — и никакой хитрый поиск или умная модель этого не спасут.

Chunk Size — слишком большой хоронит ответ, слишком маленький теряет контекст

Вручи кому-то целую главу, чтобы ответить на однострочный вопрос, и он бредёт сквозь шум; вручи одно предложение без окружения, и он не поймёт, что оно значит.

Режь слишком крупно — и каждый чанк мешает нужный факт с абзацами не относящегося текста: поиск становится размытым, а внимание модели разбавляется. Режь слишком мелко — и ты обрубаешь контекст, что делал факт осмысленным. Золотая середина держит одну связную идею с достаточным окружением, чтобы стоять самой по себе. Универсального размера чанка (chunk size) нет; он зависит от твоих документов, и ты его настраиваешь измерением.

Structure-Aware Chunking — режь по смыслу, а не по числу символов

Деление книги подсчётом символов может разрезать предложение — или рецепт — ровно пополам. Деление по главам и разделам держит каждый кусок целым.

Наивный подход — fixed-size chunking — рубит каждые N символов и разрезает предложения, таблицы и идеи. Лучше резать по естественной структуре документа — заголовкам, разделам, абзацам, — чтобы каждый чанк был законченной мыслью. Немного перекрытия (overlap) между соседними чанками не даёт факту провалиться в щель между двумя. Уважай форму документа — и извлечение становится легче само собой.

Metadata — прикрепляй ярлыки к каждому чанку

Библиотечная карточка держит не только текст — она записывает автора, дату и раздел, чтобы ты мог отфильтровать ровно нужную полку ещё до поиска.

Храни каждый чанк с метаданными (metadata): исходный документ, заголовок, дата, раздел, права. Это позволяет фильтровать до или вместе с семантическим поиском — только документы этого продукта, только текущие политики, только то, что этому пользователю позволено видеть, — и даёт источник для цитат. Метаданные дёшево хранить, и они превращают плоскую груду текста в то, что можно нацеливать.

Embedding — смысл превращается в координаты

Карта, где у каждой идеи есть место, и вещи, что значат схожее, сидят рядом, — «собака» близко к «щенку», обе далеко от «налоговой декларации».

Эмбеддинг (embedding) — это список чисел, вектор, что представляет смысл куска текста, помещённый в многомерное пространство так, что схожие смыслы оказываются рядом. Ты эмбеддишь каждый чанк один раз и хранишь векторы. Теперь у «смысла» есть координаты, и «найди связанный текст» становится «найди ближайшие точки» — задача, что компьютер решает быстро.

Vector Search — поиск по сходству, а не по ключевым словам

Библиотекарь, что находит книги по тому, о чём они, — «похожее на это», — а не только по точному совпадению названия, что ты сказал.

В момент вопроса ты эмбеддишь вопрос тем же способом, потом ищешь в хранилище чанки, чьи векторы ближе всего к нему. Это векторный поиск (vector search), он же семантический поиск (semantic search): он находит чанк про «политику возврата», даже когда пользователь спросил про «вернуть свои деньги», потому что смыслы сидят рядом. Поиск по ключевым словам это упустил бы; векторный поиск для этого и создан.

Vector Database — движок извлечения

Склад, устроенный так, что по любому предмету он мгновенно вручит тебе сотню самых похожих, — не читая каждую полку, а благодаря тому, как он организован.

Векторная база данных (vector database) хранит твои эмбеддинги и отвечает на запросы «ближайшее к этому» за миллисекунды, даже по миллионам чанков, используя приближённый индекс (ANN, approximate nearest neighbour) вместо сканирования всего. Это движок извлечения под RAG. Строить его не надо — но надо знать, что именно там живут твои чанки и насколько быстр и точен его поиск.

Similar ≠ Relevant — сходство не то же, что релевантность

Два пассажа могут быть на одну тему и при этом отвечать на разные вопросы — «как отменить» и «почему отменяют» сидят рядом, но только один — то, что спросили.

Векторный поиск возвращает то, что семантически близко (similar), что обычно релевантно (relevant), но не всегда. Чанк может быть про нужный предмет и при этом не содержать ответа. Этот разрыв — близко по смыслу против реально полезно — вот почему сырой векторный поиск это сильный первый проход, но не финальное слово, и почему существует следующий раздел.

Garbage In, Confident Garbage Out — мусор на входе, уверенный мусор на выходе

Вручи кому-то не тот файл и попроси его суммировать — он даст безупречную сводку совершенно не той вещи, звуча полностью уверенно.

RAG-ответ хорош ровно настолько, насколько чанки, что ему дали. Извлеки не те пассажи — и модель добросовестно ответит из неверного контекста, со всей своей обычной уверенностью. Баг выглядит как «модель неправа», но настоящий сбой случился выше по течению, в извлечении. Так что когда ответы плохи, осмотри, что извлеклось, прежде чем трогать промпт или модель.

Hybrid Search — сочетай ключевые слова и смысл

Один искатель, что точно знает, что слова значат, и другой, что совпадает по точным именам и кодам, — вместе они ловят то, что каждый по отдельности упустил бы.

Векторный поиск понимает смысл, но может промахиваться по точным терминам — кодам продуктов, именам, редкому жаргону. Поиск по ключевым словам (keyword search) бьёт по ним, но упускает перефразировки. Гибридный поиск (hybrid search) гоняет оба и сливает результаты, прикрывая слепые зоны друг друга. Для большинства реальных корпусов гибрид бьёт любой по отдельности, потому что реальные вопросы мешают понятия с конкретными именами.

Reranking — переранжируй короткий список

Процесс найма: дешёвый первый проход вытягивает пятьдесят правдоподобных резюме, потом внимательный ревьюер читает их вблизи и ранжирует настоящую топ-пятёрку.

Поиск первого прохода быстр, но груб. Реранкер (reranker) берёт топ, скажем, пятьдесят кандидатов и оценивает каждого против вопроса аккуратнее, выталкивая по-настоящему релевантные чанки наверх. Извлекай широко, потом переранжируй до точных немногих. Эта двухэтапная форма — широкий дешёвый отзыв, потом острое ранжирование — один из самых рычажных апгрейдов посредственной RAG-системы.

Precision и Recall — точность и полнота тянут друг против друга

Сеть с широкими ячейками ловит только крупную рыбу, но многое пропускает; мелкая сеть ловит всё, включая водоросли. Ты настраиваешь ячею под нужный улов.

Извлеки слишком мало чанков — и можешь упустить тот, что с ответом (низкая полнота, recall); извлеки слишком много — и хоронишь ответ в нерелевантном тексте, что разбавляет модель и стоит токенов (низкая точность, precision). Верное число чанков (его часто зовут k) балансирует эти двое, и оно специфично для твоих данных и типа вопроса. Ты его не угадываешь — ты его меряешь, а это следующий раздел.

Context-Only Answering — отвечай только из извлечённого текста

Свидетель, которому велено показывать только то, что он лично видел, — не то, что предполагает, смутно помнит или слышал из вторых рук.

Укажи модели отвечать только из предоставленных чанков и говорить, что не знает, когда ответа там нет. Это ядро заземления: извлечённый текст — это разрешённый источник истины (source of truth), а собственная память модели снята со стола. Идеально не будет — модель всё ещё может дрейфовать, — но инструкция плюс нужный контекст делают бо́льшую часть работы.

Citations — цитаты делают утверждения проверяемыми

Научная статья со сносками позволяет любому читателю проследить утверждение до источника и проверить его — или поймать, где оно не держится.

Пусть модель цитирует, из какого чанка пришла каждая часть её ответа. Цитаты (citations) делают две вещи: позволяют пользователю (и тебе) сверить утверждение с источником, и сам акт заземления каждого высказывания в извлечённом пассаже отбивает у модели охоту уходить от фактов. Ответ с прослеживаемыми источниками можно проаудитировать; ответ без источников — лишь уверенная догадка.

Refusal — научи её говорить «я не знаю»

Эксперт, которому ты доверяешь больше всего, — тот, кто говорит «этого нет в том, что у меня есть», вместо того чтобы уверенно заполнить пробел догадкой.

Самый опасный сбой RAG — отвечать всё равно, когда извлечение вернулось пустым или мимо. Так что сделай отказ (refusal) валидным, ожидаемым выводом: если чанки не содержат ответа, модель должна так и сказать, а не импровизировать из памяти. Система, что признаёт пробел, куда надёжнее той, что его замазывает, — и она вскрывает, где твоё извлечение нуждается в работе.

Grounding снижает галлюцинацию — но не кончает её

Ремни безопасности резко снижают смертность, но ты всё равно едешь осторожно. Сильная мера защиты — не повод перестать смотреть на дорогу.

Даже с идеальными чанками модель может неверно прочесть, переобобщить или смешать извлечённый факт с собственной памятью. Заземление режет галлюцинацию (hallucination) и делает её ловимой; оно её не убирает. Так что ты всё равно проверяешь — цитатами, что пользователь может сверить, и эвалами, что меряют верность. Относись к заземлению как к мощному контролю, а не как к гарантии.

Два этапа — меряй извлечение и генерацию по отдельности

У ресторана с плохим блюдом два возможных виновника — доставленные ингредиенты или повар. Сначала пробуешь ингредиенты, иначе переучишь не того.

RAG-ответ может сбоить, потому что извлечение (retrieval) принесло не те чанки, или потому что генерация (generation) плохо ответила из верных чанков. Им нужны разные починки, так что меряй их отдельно: вернулись ли нужные чанки? и, при этих чанках, был ли ответ верным и полным? Большинство команд, что «не могут улучшить свой RAG», оценивают только финальный ответ и гадают, какую половину винить.

Retrieval Eval — вернулись ли нужные чанки?

Прежде чем судить эссе, проверь, что студенту вообще вручили нужные справочные страницы, — если нет, ничто из написанного не могло быть верным.

Оценивай извлечение само по себе — это retrieval eval: для набора вопросов с известными релевантными документами вернул ли поиск их в топе результатов? Долю таких попаданий часто называют recall@k. Это ловит плохой чанкинг, слабый поиск и отсутствие реранкинга напрямую — выше-по-течению причины большинства плохих ответов. Чини извлечение первым, потому что никакое улучшение промпта или модели не спасёт ответ, построенный из неверных чанков.

Faithfulness — был ли ответ верен чанкам?

Фактчекер читает ответ против цитируемых источников и помечает любое предложение, что источники на деле не подкрепляют.

Когда извлечение хорошо, оценивай ответ на верность (faithfulness): подкреплено ли каждое утверждение извлечёнными чанками, без выдумок и без противоречий? Также проверь, что он реально использовал извлечённое и ответил на вопрос. Здесь ты ловишь дрейф модели прочь от твёрдого контекста — и это измеримо, часто с другой моделью в роли оценщика (LLM-as-judge).

Golden Set — строй эвал из реальных вопросов

Ты тестируешь мост грузовиками, что реально по нему поедут, а не весами, что нашёл удобными.

Твой эвал-набор — его часто зовут golden set — должен быть реальными вопросами, что задают пользователи, включая грязные и вне-области, каждый в паре с чанками, что должны извлечься, и известным хорошим ответом. Гоняй его на каждом изменении, чтобы видеть, реально ли новая стратегия чанкинга или реранкер помогли. Без этого ты настраиваешь RAG по анекдотам — а анекдоты врут.

Paste First — не RAG-ай то, что мог бы просто вставить

Ты не строишь библиотечный каталог для трёх книг на своём столе — ты просто их открываешь.

Если нужные факты малы и фиксированы — пара документов, короткая политика, — просто положи их в промпт. RAG отрабатывает свою сложность, когда знание слишком велико для контекста, часто меняется или должно фильтроваться по пользователю. Строить конвейер извлечения над тремя страницами — это эквивалент перебора в виде цикла агента ради одного вызова. Тянись к нему, когда данные вынуждают.

Index Freshness — устаревшие данные это неверные данные

Телефонная книга полезна, только если её переиздают, — номера прошлого десятилетия уверенно и бесполезно неверны.

Обещание RAG — актуальные факты, а значит, твой индекс обязан оставаться актуальным. Когда исходные документы меняются, чанки и эмбеддинги надо обновить — переиндексация (reindexing), — иначе модель заземлит свои ответы в уверенном, устаревшем тексте. Планируй переиндексацию как часть системы, а не как мысль вдогонку, — свежесть это фича, что надо поддерживать, а не свойство, что получаешь раз.

Cost & Latency — следи за стоимостью и задержкой

Каждый лишний шаг в конвейере — эмбеддинг, поиск, реранк, набивка контекста, генерация — добавляет немного времени и немного денег к каждому вопросу.

RAG добавляет этапы, и каждый стоит задержки (latency) и токенов. Извлечение большего числа чанков, реранкинг, больший контекст — всё улучшает качество до некоторого предела и поднимает счёт всю дорогу. Так что настраивай на наименьшее число чанков, что отвечает хорошо, кэшируй где можешь и помни, что отличный ответ, что слишком медленный или дорогой, — не отличный ответ в проде.

RAG — одна ступень; модель остаётся компонентом

У хорошей кухни есть кладовая, но кладовая — не повар: это один хорошо организованный вход для того, кто всё ещё должен приготовить блюдо.

RAG сидит на лестнице выше обычного промпта и ниже инструментов и агентов: тянись к нему, когда модели нужны твои факты, и держи его за чистым интерфейсом, как любую зависимость. Извлечение кормит модель; оно не заменяет суждение вокруг модели. Та же дисциплина, что везде, — используй простейшую ступень, что работает, и держи модель заменяемой.

Как понятия связаны

Две смены одной кухни: ночью заготовка — нарезать и разложить по полкам; днём готовка — найти, выбрать и подать.

Всё в курсе — одна цепочка в два этапа. Офлайн (indexing): документы режутся на чанки с метаданными, превращаются в эмбеддинги и ложатся в векторную базу — и пересобираются, когда документы меняются (index freshness). В момент вопроса (query time): hybrid search находит кандидатов, reranking оставляет лучших, precision и recall решают, сколько их взять. Дальше grounding: модель отвечает только по контексту, с цитатами или честным отказом. Сбоку — paste first: если фактов мало, вся цепочка не нужна. А эвалы — retrieval eval, faithfulness, golden set — меряют каждое звено.