Карта: 20 понятий в семи группах

Карта метро: сначала видишь линии целиком, потом едешь по станциям.

Сначала три основы — почему компьютеру не хватает символов, что такое эмбеддинг и что такое пространство смыслов. Дальше шесть групп, по одной на главу: сходство, векторная база, семантический поиск, применения за пределами поиска, ловушки и как применять хорошо.

У каждого понятия дальше одно и то же: английское название (запомни его — это термин), образ из жизни, схема и карточка с полями: что это, как работает, пример, подвох и связи.

Lexical Gap — компьютеры видят символы, а не смысл

Машина, что может сказать, что две фотографии различаются пиксель за пикселем, но понятия не имеет, что на обеих собака, — поверхность различна, смысл ей невидим.

Для компьютера текст — это просто символы. Он может проверить, идентичны ли две строки, но у него нет врождённого чувства, что «машина» и «автомобиль» значат одно, или что «банк одобрил мой кредит» и «мою ипотеку приняли» — об одном и том же событии. Это разрыв между словами и смыслом — lexical gap. Совпадение точных слов (exact match) упускает смысл целиком. Чтобы софт работал с тем, что текст значит, а не с тем, как он написан, нужен способ превратить смысл во что-то, что компьютер может измерить.

Embedding — текст превращается в точку

Карта, где у каждой идеи есть место, и идеи, что значат схожее, сидят рядом, — «собака» близко к «щенку», обе далеко от «налоговой декларации».

Эмбеддинг (embedding) — это список чисел, вектор (vector), что представляет смысл куска текста. Его производит модель эмбеддингов (embedding model): она читает текст и выдаёт его координаты. Похожий текст получает похожие числа — а значит, точку рядом. Смысл, что был невидим компьютеру, стал позицией, — а позиции это то, что софт может сравнивать, сортировать и искать.

Vector Space — пространство, где близость значит сходство

Карта, на которой «собака», «щенок» и «кошка» стоят кучкой в одном углу, а «таблица» и «налоговая декларация» — в другом.

Все эмбеддинги живут в одном многомерном пространстве (vector space, embedding space). Измерений у него сотни, но идею легко увидеть на плоскости: точки со схожим смыслом сидят рядом, несвязанные — далеко. «Собака» и «щенок» рядом, и обе далеко от «таблицы». Само пространство и есть карта смысла.

Meaning as Geometry — как только у смысла есть координаты, с ним можно вычислять

Как только каждый город — точка на карте, «найди ближайший город» становится простой геометрией, — карта превратила смутный вопрос в измеримый.

Вот ход, что делает всё остальное возможным: со смыслом, выраженным как координаты, размытые вопросы о смысле становятся точными вопросами о геометрии. «Какие документы об этой теме?» становится «какие точки рядом с этой точкой?». «Похоже ли это на то?» становится «как далеко они друг от друга?». Компьютер не может понять смысл, но может идеально мерить расстояние, — а эмбеддинги дают ему отвечать на вопросы о смысле, меряя расстояние вместо этого. Этот перевод — весь трюк.

Semantic Similarity — близкие точки значат схожие вещи

На карте два города рядом — между ними легко проехать; два на противоположных побережьях — далеко. Близость на карте зеркалит близость в реальности.

Поскольку эмбеддинги размещают схожие смыслы рядом, расстояние между точками меряет разницу в смысле: близко — значит схоже, далеко — значит не связано. Это и есть семантическое сходство (semantic similarity). Чтобы спросить, насколько похожи два куска текста, ты эмбеддишь оба и меряешь зазор между их векторами — маленький зазор сигналит, что они значат почти одно. Расстояние, что можно вычислить, замещает сходство, что было нельзя.

Nearest-Neighbour Search — найти ближайших соседей

Библиотекарь, что, получив одну книгу, может мгновенно указать тебе полку книг, самых на неё похожих, — не по названию, а по тому, о чём они.

Ключевая операция — поиск ближайших соседей (nearest-neighbour search, k-NN): по одной точке найти k ближайших к ней. «Покажи мне похожее на это» становится «найди ближайших соседей этого элемента в пространстве». Вручи системе вопрос, продукт, документ, и она вернёт самые семантически похожие, ранжированные по близости. Эта единственная операция движет семантический поиск, рекомендации и бо́льшую часть того, что идёт дальше. Всё это какая-то версия «найди близкие точки».

Cosine Similarity — направление важнее сырого расстояния

Две стрелки, указывающие в одну сторону, похожи, даже если одна длиннее, — важно направление, куда они указывают, а не их длина.

На практике сходство обычно меряют углом между векторами, а не расстоянием по прямой, — мера называется косинусным сходством (cosine similarity). Два эмбеддинга, указывающие в одну сторону, считаются похожими, даже если один «длиннее», потому что направление схватывает смысл, а длина часто просто отражает вещи вроде длины текста. Математика не нужна, чтобы использовать эмбеддинги, но стоит знать: стандартная мера «насколько похоже» — про направление, а не сырое расстояние.

Vector Database — хранилище под поиск ближайших соседей

Склад, устроенный так, что по любому предмету он мгновенно принесёт тебе сотню самых похожих, — не сканируя каждую полку, а благодаря тому, как он устроен.

Векторная база данных (vector database) хранит твои эмбеддинги и быстро отвечает на запросы «найди ближайшие точки к этой», даже по миллионам векторов. Она построена под ту одну операцию, что нужна эмбеддингам: поиск ближайших соседей по сходству. Ты эмбеддишь данные раз, хранишь векторы, и база становится искомым индексом смысла. Когда люди строят поиск, RAG или рекомендации на эмбеддингах, векторная база — это где векторы живут и где случается поиск.

ANN — приближённый поиск делает масштаб быстрым

Чтобы найти ближайшее кафе, ты не меряешь расстояние до каждого кафе на Земле — ты сперва смотришь в своём районе. Умные срезы бьют проверку всего.

Сравнивать запрос с каждым хранимым вектором было бы слишком медленно в масштабе. Так что векторные базы используют приближённый поиск ближайших соседей (approximate nearest-neighbour, ANN): хитрое индексирование, что находит ближайшие точки, не проверяя их все, меняя крошечную долю точности на огромный выигрыш скорости. Поэтому векторный поиск по миллионам элементов возвращается за миллисекунды. Точные ближайшие соседи нужны редко — «очень близко» так же хорошо, как «ближайшее».

Embed Once, Query Many — эмбедди раз, ищи много раз

Ты каталогизируешь библиотеку раз, когда книги приходят, и после этого каждый поиск мгновенен, — медленное индексирование случается заранее, быстрый поиск — навсегда после.

Форма системы эмбеддингов такова: эмбедди свои данные раз заранее и храни векторы (index time), потом ищи дёшево на каждом запросе (query time). У вычисления эмбеддингов есть стоимость, но ты платишь её, когда данные добавляются, а не на каждом поиске. Дорогой шаг — разовое индексирование, а стоимость на запрос — один вектор и быстрый поиск. Знать это разделение помогает рассуждать и о стоимости, и о свежести системы.

Semantic Search — ищи по смыслу, а не совпадением слов

Помощник, что находит то, что ты хочешь, даже когда ты описываешь это своими словами, — «штука, что держит напитки холодными» даёт тебе холодильник, без точного совпадения.

Семантический поиск (semantic search) находит результаты по смыслу, а не совпадением ключевых слов (keyword search). Ты эмбеддишь запрос пользователя и ищешь чанки документов, чьи векторы ближе всего к нему. Так поиск «как мне вернуть деньги» находит страницу «политика возврата», потому что их смыслы сидят рядом, — хотя они почти не делят слов. Поиск по ключевым словам это упустил бы; семантический для этого создан. Он находит то, что ты имел в виду, а не только то, что буквально напечатал.

Same Model, Same Space — эмбедди запрос так же, как данные

Чтобы сравнить два измерения, надо использовать одну линейку, — измерь одно в дюймах, а другое в сантиметрах, и числа не сойдутся.

Чтобы поиск работал, запрос и хранимые документы должны быть эмбеддены одной моделью, в одно пространство, — иначе их координаты не сравнимы, и «ближайшее» бессмысленно. Ты эмбеддишь документы моделью, а в момент запроса эмбеддишь вопрос той же моделью. Звучит очевидно, но это частый баг: смешивать модели или менять модель без переэмбеддинга всего тихо ломает поиск, потому что точки больше не делят пространство.

RAG Retrieval — это извлечение под RAG

Экзамен с открытой книгой: семантический поиск — это как ты находишь нужные страницы, чтобы посмотреть, прежде чем ответить, — поиск, что делает заземлённые ответы возможными.

Семантический поиск — это шаг извлечения (retrieval) в retrieval-augmented generation (курс о RAG). Когда RAG-система отвечает из твоих документов, эмбеддинги — это как она находит релевантные чанки, чтобы положить в контекст модели. Так что качество RAG-системы сильно покоится на качестве её поиска по эмбеддингам — заведи нужные чанки рядом с запросом, и ответ заземлён; заведи не те, и модель отвечает из мусора.

Clustering & Deduplication — группировка по смыслу

Сортировать кучу смешанных документов в стопки по теме — складывая те, что значат схожее, вместе, не читая каждое слово.

Поскольку схожие смыслы скучиваются в пространстве, можно группировать данные по смыслу автоматически — это кластеризация (clustering): собрать отзывы клиентов в темы, организовать статьи по теме, найти естественные категории в куче текста. Та же идея ловит дубликаты и почти-дубликаты (deduplication) — два тикета поддержки, описывающие одну проблему разными словами, сидят рядом, так что их можно обнаружить и слить. Любая задача «какие из этих значат одно?» — задача эмбеддингов.

Recommendations — больше того, что тебе понравилось

Продавец, что, видя, что ты купил, указывает тебе на другие вещи, что понравились людям со схожим вкусом, — сходство внутрь, предложения наружу.

Рекомендации (recommendations) — это поиск ближайших соседей в маскировке: эмбедди элементы (продукты, статьи, песни) так, что похожие сидят рядом, и «порекомендуй больше похожего» становится «найди ближайшие элементы к тому, что пользователю понравилось». Та же машинерия, что находит документы, похожие на запрос, находит продукты, похожие на покупку. Каждый раз, как видишь «вам также может понравиться», есть хороший шанс, что эмбеддинги тихо за этим.

Classification & Anomaly Detection — свои и чужие

Охранник, что знает, как выглядит нормальное, и замечает того одного человека, ведущего себя непохоже на всех остальных, — выброс стоит особняком в пространстве.

Эмбеддинги движут классификацию (classification) — новый элемент вероятно той же категории, что помеченные элементы, ближайшие к нему, — и обнаружение аномалий (anomaly detection) — что-то, чей эмбеддинг сидит далеко от всего нормального, это выброс, что стоит пометить. Ловля мошенничества, контента не по теме или необычных входов — всё становится «найди то, что далеко от кластера». Повторяющийся паттерн один: преврати вещи в точки, потом рассуждай о близости и расстоянии.

Model Mismatch — модель эмбеддингов решает качество

Переводчик, что лишь наполовину понимает язык, производит изъянную карту его смысла, — каждое сравнение ниже по течению наследует это искажение.

Всё зависит от модели, что создаёт эмбеддинги. Хорошая модель размещает смысл точно, так что похожие вещи правда сидят рядом; слабая или несовпадающая (model mismatch) производит искажённое пространство, где расстояния вводят в заблуждение. Модель, обученная на общем веб-тексте, может плохо эмбеддить специализированный домен (юридический, медицинский, код), потому что не схватывает различия, что там важны.

Similar ≠ Relevant — похожее не то же, что релевантное

Два пассажа могут быть об одном предмете и при этом отвечать на разные вопросы, — «как отменить» и «почему отменяют» сидят рядом, но только один — то, что спросили.

Сходство эмбеддингов схватывает тематическую близость, что обычно хороший прокси релевантности, — но не всегда. Два текста могут быть близки по смыслу, пока только один реально отвечает нужде. Поэтому сырой поиск по эмбеддингам — сильный первый проход, но не финальное слово: он находит то, что об нужном, а это не совсем то же, что полезное. Отсюда доработки вроде переранжирования (reranking) — второй шаг, что пересортировывает найденное по тому, насколько оно отвечает вопросу.

Garbage In — мусор внутрь, мусорное пространство

Если ты подшиваешь документы под небрежные, непоследовательные метки, даже идеальный поиск по шкафу возвращает бардак, — индекс хорош ровно настолько, насколько то, что в него вошло.

Качество системы эмбеддингов ограничено качеством того, что ты эмбеддишь. Плохой чанкинг (chunking) из курса о RAG, шумный текст или эмбеддинг не того поля производят пространство, где даже идеальный поиск возвращает плохие результаты, — расстояния вычислены над мусором. Так что бо́льшая часть работы — не поиск, а подготовка чистого, хорошо нарезанного текста. Чини входы, прежде чем винить поиск.

Model Choice — выбирай модель эмбеддингов под свои данные

Ты нанимаешь переводчика, что реально знает диалект, в котором работаешь, — универсал может упустить ровно те различия, что важнее всего для тебя.

Самый значимый выбор — модель эмбеддингов (embedding model), и правильная зависит от твоих данных и задачи. Общая модель нормальна для общего текста; специализированному домену может понадобиться модель, что его понимает или дообучена на нём. Учитывай язык, домен, размер вектора и стоимость. Не хватай дефолт — выбери модель, что строит точное пространство для твоего смысла, потому что каждое сравнение едет на ней.

Embedding Evals — меряй, отражает ли пространство реальный смысл

Ты тестируешь новую карту, проверяя, что места, что ты знаешь близкими, реально выходят близкими, — если нет, карта неверна.

Не предполагай, что настройка эмбеддингов работает, — проверь. Для набора случаев, где ты знаешь, что должно быть похожим, проверь, что поиск реально возвращает их среди ближайших. Это версия эвалов для эмбеддингов (embedding evals): кладёт ли пространство нужные вещи близко, на твоих реальных данных? Измерение ловит плохую модель, несовпадение домена или проблему чанкинга, прежде чем оно тихо испортит всё, построенное сверху. Непротестированное пространство — догадка; измеренное — инструмент, которому можно доверять.

Как понятия связаны

Конвейер: на входе текст, на выходе — поиск, рекомендации и группы. Каждая ловушка — место, где конвейер может испортиться.

Всё в курсе — одна цепочка. Чистый текст идёт в модель эмбеддингов, она выдаёт векторы, они живут в векторной базе с индексом ANN. Запрос ищет ближайших соседей по косинусному сходству — и на этой одной операции стоят семантический поиск и RAG, рекомендации, кластеризация и классификация. Ловушки сидят на звеньях: garbage in — на входе, model mismatch — на модели, similar ≠ relevant — на поиске. А embedding evals меряют всю цепочку.