地图：七组共 20 个概念

一张地铁图：先看到整张网络，再一站一站地坐过去。

先是三个基础——为什么光有字符对计算机还不够、embedding 是什么、意义空间是什么。然后是六组，每章一组：相似度、vector database、semantic search、检索之外的用途、陷阱，以及如何用好它。

之后每个概念都得到同样的对待：它的英文名称（要记住——这就是术语）、一幅生活中的画面、一张图，以及一张带字段的卡片：是什么、原理、例子、坑和关联。

Lexical Gap — 计算机看到的是字符，而非意义

一台机器能逐像素地分辨出两张照片不同，却完全不知道它们都画着一只狗——表面有差异，意义却对它不可见。

对计算机来说，文本只是字符。它能检查两个字符串是否完全相同，但它天生就没有这种意识：「car」和「automobile」是同一个意思，或者「the bank approved my loan」和「my mortgage was accepted」说的是同一件事。这道文字与意义之间的鸿沟就是 lexical gap。逐字匹配（exact match）会完全错过意义。要让软件处理文本所意味的东西，而不是它如何拼写，你需要一种把意义变成计算机能度量之物的方法。

Embedding — 文本变成一个点

一张地图，每个想法都有一个位置，意义相近的想法彼此靠近——「dog」紧挨着「puppy」，两者都远离「tax return」。

embedding 是一串数字——一个 vector——它代表一段文本的意义。它由 embedding model 产生：模型读入文本，输出它的坐标。相近的文本得到相近的数字——也就是邻近的点。原本对计算机不可见的意义，变成了一个位置——而位置正是软件能够比较、排序和检索的东西。

Vector Space — 邻近即相似的空间

一张地图，「dog」「puppy」「cat」聚成一团在一个角落，「spreadsheet」和「tax return」在另一个角落。

所有 embedding 都存在于同一个高维的 vector space（也叫 embedding space）里。它有几百个维度，但这个想法在一张平面纸上也很容易看明白：意义相近的点靠得近，无关的点离得远。「Dog」和「puppy」靠在一起，两者又都远离「spreadsheet」。这个空间本身就是一张意义的地图。

Meaning as Geometry — 一旦意义有了坐标，你就能对它进行计算

一旦每个城镇都成了地图上的一个点，「找出最近的城镇」就变成了简单的几何——地图把一个模糊的问题变成了可度量的问题。

这一步让其余一切成为可能：意义被表示成坐标之后，关于意义的模糊问题就变成了关于几何的精确问题。「哪些文档谈的是这个主题？」变成「哪些点靠近这个点？」「这个与那个相似吗？」变成「它们相距多远？」计算机无法理解意义，却能完美地度量距离——而 embedding 让它可以通过度量距离来回答关于意义的问题。这个转换就是全部的诀窍。

Semantic Similarity — 点靠得近，意义就相近

在地图上，两个相邻的城镇很容易往来；两个分处东西海岸的城镇则很远。地图上的远近，映照着现实中的远近。

由于 embedding 把相近的意义放在彼此附近，点之间的距离度量的是意义的差异：靠得近就相似，离得远就无关。这就是 semantic similarity。要问两段文本有多像，就把两者都做成 embedding，再度量它们 vector 之间的间隔——间隔小，说明它们意思几乎相同。一个你能计算的距离，替代了你原本无法衡量的相似度。

Nearest-Neighbour Search — 找出最近的点

一位图书管理员，你递给他一本书，他立刻就能指给你看与它最相像的那一排书架——不是按书名，而是按内容。

核心操作是 nearest-neighbour search（k-NN）：给定一个点，找出离它最近的 k 个点。「给我看看与此类似的东西」变成「在空间里找出这一项的最近邻」。把一个问题、一件商品、一份文档交给系统，它就返回意义上最相似的那些，并按远近排序。这一个操作驱动着 semantic search、推荐，以及后面的大部分内容。一切都是「找出邻近的点」的某种变体。

Cosine Similarity — 方向比原始距离更重要

两支指向同一方向的箭头是相像的，哪怕一支更长——重要的是它们指向哪里，而不是长度。

实际中，相似度通常用 vector 之间的夹角来度量，而不是直线距离——这种度量叫 cosine similarity。两个指向同一方向的 embedding 会被视为相似，即使其中一个「更长」，因为方向承载意义，而长度往往只反映文本长度之类的东西。使用 embedding 不需要懂这套数学，但值得知道：衡量「有多相似」的标准度量看的是方向，而不是原始距离。

Vector Database — 为最近邻搜索而建的存储

一座仓库，布置得让你给出任何一件物品，它都能立刻取来最相似的一百件——不是靠扫遍每个货架，而是靠它的摆放方式。

vector database 存储你的 embedding，并能快速回答「找出离这个点最近的点」这类查询，哪怕面对数百万个 vector。它专为 embedding 需要的那一个操作而造：按相似度做最近邻搜索。你把数据做一次 embedding，存下 vector，数据库就成了一个可搜索的意义索引。人们在 embedding 之上构建搜索、RAG 或推荐时，vector database 就是 vector 的住处，也是搜索发生的地方。

ANN — 近似搜索让大规模变快

找最近的咖啡馆，你不会去量到地球上每一家咖啡馆的距离——你先看自己的街区。聪明的捷径胜过逐一检查。

把一次查询与每一个存储的 vector 都比一遍，在大规模下会慢得无法接受。所以 vector database 使用 **approximate nearest-neighbour（ANN）**搜索：巧妙的索引，不必逐一检查就能找到最近的点，用一点点精度换来巨大的速度提升。这就是为什么在数百万条目上做向量搜索只需几毫秒。你很少需要精确的最近邻——「非常近」和「最近」一样好用。

Embed Once, Query Many — 嵌入一次，搜索多次

书到馆时你给图书馆编目一次，此后每次查找都是瞬间的——缓慢的索引工作发生在前面，快速的查找则永远继续。

embedding 系统的形态是：先把数据嵌入一次并存下 vector（index time），然后每次查询都低成本地搜索（query time）。计算 embedding 是有成本的，但这笔成本在数据加入时支付，而不是每次搜索时。昂贵的一步是一次性的索引；每次查询的成本只是一个 vector 加一次快速查找。了解这种划分，有助于你推断 embedding 系统的成本和新鲜度。

Semantic Search — 按意义搜索，而不是匹配字词

一个帮手，即使你用自己的话描述，他也能找到你想要的——「那个让饮料保持冰凉的东西」就把你带到冰箱前，不需要精确匹配。

semantic search 按意义而不是按匹配关键词（keyword search）来找结果。你把用户的查询做成 embedding，再搜索 vector 与之最近的文档片段。所以搜索「how do I get my money back」能找到标题为「refund policy」的页面，因为它们的意义靠得近——尽管几乎没有共同的词。keyword search 会漏掉这个；semantic search 就是为此而生。它找到的是你想表达的，而不只是你字面上输入的。

Same Model, Same Space — 查询要和数据用同样的方式嵌入

要比较两个测量值，必须用同一把尺——一个用英寸量、另一个用厘米量，数字就对不上。

要让搜索行得通，查询和存储的文档必须由同一个模型嵌入到同一个空间——否则它们的坐标没有可比性，「最近」也就毫无意义。你用某个模型嵌入文档，查询时就用同一个模型嵌入问题。这听起来显而易见，却是常见的 bug：混用 embedding 模型，或者换了模型却没有把一切重新嵌入，会悄悄地弄坏搜索，因为这些点已经不在同一个空间里了。

RAG Retrieval — 这是 RAG 底下的 retrieval

开卷考试：semantic search 就是你在作答之前找到该翻哪几页的方法——让有依据的回答成为可能的那次查找。

semantic search 是 retrieval-augmented generation（RAG 课程）中的 retrieval 步骤。当 RAG 系统依据你的文档作答时，embedding 就是它找出相关片段、放进模型上下文的方式。所以 RAG 系统的质量在很大程度上取决于它的 embedding 搜索质量——让正确的片段靠近查询，回答就有依据；让错误的片段靠近，模型就会依据垃圾作答。

Clustering & Deduplication — 按意义分组

把一堆混杂的文档按主题分成几摞——把意思相近的放在一起，无需读每一个字。

因为意义相近的在空间里聚在一起，你可以自动按意义分组数据——这就是 clustering：把客户反馈归成主题、按话题整理文章、在一堆文本中找出天然的类别。同样的想法还能抓出重复和近似重复（deduplication）——两张用不同的话描述同一个问题的工单靠得很近，所以你能发现并合并它们。任何本质上是「这些里哪些意思相同？」的任务，都是 embedding 任务。

Recommendations — 更多你喜欢的

一位店员，看到你买了什么，就把品味相近的人喜欢的其他东西指给你——输入相似度，输出建议。

推荐其实是伪装起来的 nearest-neighbour search：把物品（商品、文章、歌曲）做成 embedding，让相似的靠得近，「多推荐些类似的」就变成「找出离用户喜欢的东西最近的物品」。找出与查询相似的文档所用的同一套机制，也能找出与一次购买相似的商品。每当你看到「你可能还喜欢」，背后很可能就悄悄地有 embedding。

Classification & Anomaly Detection — 谁属于，谁不属于

一位保安，知道正常是什么样子，并注意到那个举止与众不同的人——离群者在空间里单独站着。

embedding 驱动着 classification——新的物品很可能与离它最近的、已有标签的物品属于同一类别——以及 anomaly detection——某个东西的 embedding 离一切正常的都很远，就是值得标记的离群点。发现欺诈、跑题内容或异常输入，都变成了「找出离那一团很远的东西」。反复出现的模式是一样的：把东西变成点，再就邻近和距离来推理。

Model Mismatch — embedding 模型决定质量

一位只懂一半某门语言的译者，画出的是一张有缺陷的意义地图——之后的每一次比较都继承了这种扭曲。

一切都取决于生成 embedding 的那个模型。好模型能准确地放置意义，所以相似的东西确实靠得近；弱的或不匹配的模型（model mismatch）则造出一个扭曲的空间，其中的距离会误导你。在通用网络文本上训练的模型，可能对你的专门领域（法律、医疗、代码）嵌入得很差，因为它抓不住那里要紧的细微区别。

Similar ≠ Relevant — 相似不等于相关

两段文字可以谈同一个主题，却回答不同的问题——「如何取消」和「人们为什么取消」靠得很近，但只有一个是被问到的。

embedding 相似度捕捉的是主题上的接近，这通常是相关性的良好替代——但并不总是。两段文本可能在意义上相近，而只有一段真正回答了需求。这就是为什么原始的 embedding 搜索是强有力的第一遍，却不是最终结论：它找到的是关于正确事物的内容，这与有用的内容并不完全相同。于是有了 reranking 这样的改进——第二步，按结果回答问题的程度重新排序。

Garbage In — 垃圾进，垃圾空间

如果你用草率、不一致的标签来归档文件，哪怕对文件柜做完美的搜索，得到的也是一团糟——索引的好坏，取决于放进去的是什么。

embedding 系统的质量，受限于你所嵌入内容的质量。糟糕的 chunking（来自 RAG 课程）、嘈杂的文本，或嵌入了错误的字段，都会造出这样一个空间：即使搜索完美，返回的结果也很差——距离是在垃圾上算出来的。所以大部分工作不在搜索，而在准备干净、切分得当的文本。在怪罪搜索之前，先修好输入。

Model Choice — 为你的数据选 embedding 模型

你雇的是一位真正懂你所用方言的译者——通才可能恰恰漏掉对你最要紧的那些区别。

影响最大的选择是 embedding model，而合适的那一个取决于你的数据和任务。通用模型处理通用文本没问题；专门的领域可能需要一个理解该领域的模型，或在其上微调（fine-tune）过的模型。要考虑语言、领域、vector 大小和成本。别只是随手拿个默认的——要选那个能为你的意义构建出准确空间的模型，因为你将来做的每一次比较都建立在它之上。

Embedding Evals — 度量空间是否反映真实的意义

你检验一张新地图的方法，是看你熟悉的、彼此相近的地方在图上是否真的挨在一起——如果不是，这张地图就是错的。

别假定 embedding 的配置行得通——要检查它。对于一组你知道应该相似的案例，验证搜索是否真的把它们排在最近的那些之中。这就是 embedding 版本的 evals（embedding evals）：在你的真实数据上，这个空间是否把正确的东西放得很近？度量这一点，能在一个糟糕的模型、领域不匹配或 chunking 问题悄悄拖垮建在其上的一切之前，把它们揪出来。一个你没测试过的 embedding 空间只是猜测；一个你度量过的空间才是你能信任的工具。

这些概念如何相连

一条传送带：文本进去，搜索、推荐和分组出来。每个陷阱都是传送带可能出错的地方。

整门课就是一条链。干净的文本进入 embedding model，输出 vector，它们存放在带 ANN 索引的 vector database 里。一次查询用 cosine similarity 找出它的最近邻——而 semantic search 和 RAG、推荐、clustering 和 classification 都建立在这一个操作之上。陷阱就在各个环节上：输入处是 garbage in，模型处是 model mismatch，搜索处是 similar ≠ relevant。而 embedding evals 度量整条链。