Knowledge Cutoff——它的知识是冻结的、通用的

一位才华横溢的毕业生，几年前读过一座浩瀚的图书馆——但没读过你公司的文件，也没读过他们毕业那天之后发表的任何东西。

模型只知道它的 training data 里有的东西。这些数据取自公共互联网，冻结在某个 knowledge cutoff 日期。这些知识广博而通用——但模型对你的私有数据、你的具体领域，或训练之后发生的任何事一无所知。

所以开箱即用时，它没法回答关于你产品的问题、遵循你的内部风格，或使用上周的数字。这门课里讲的一切，都是在弥合模型的通用知识与你那个特定世界之间的那道鸿沟。

Knowledge Gap vs Behaviour Gap——三种不同的缺口

一名新员工可能需要一份简报文档、一个可供查阅的文件柜，或者真正的培训来改变他们的工作方式——三道不同的缺口，三种不同的补救。

缺口有不同的形状，它们的补救办法也不一样。有时你需要模型为这项任务知道一些事实。有时需要它借助一大批不断变化的知识。有时需要它表现得不一样——一种一致的格式、语气或技能。

这就是 knowledge gap（知识缺口）和 behaviour gap（行为缺口）。它们分别对应那三种技术：告诉它（prompting）、给它一个知识来源（RAG），或重新训练它（fine-tuning）。说清你面对的是哪道缺口，几乎就是整个决策。

地图：六组共 15 个概念

一张地铁线路图：先看全部线路，再一站一站地坐过去。

这门课里的每个概念都属于六组之一。先是缺口本身。然后是按成本递增排列的三种技术：prompting、RAG、fine-tuning。接着是它们之间的关键区别。最后是如何选择——以及如何检验这个选择。

怎么读这门课

如果一页备忘录就够了，你不会把人送去培训一年——你让投入匹配真正缺的东西。

每个概念都用同样的方式讲：它的英文名（记住它——文档和论文里用的就是这个术语）、一幅来自日常生活的画面、一幅图，以及一张带字段的卡片：是什么、怎么运作、例子、坑，以及关联的概念。

这门课的核心思想：这些技术在成本、速度和适用场景上差别极大。最常见的错误是一上来就跳到 fine-tuning——最重的那个选项——而 prompting 或 RAG 本可以更快、更便宜地解决问题。真正的功夫不在于会不会 fine-tune，而在于把缺口诊断得足够准确，从而挑出能补上它的最轻的技术。

Prompting / In-context Learning——把它需要的直接放进上下文

在任务开始前给一位机灵的临时工做简报：这是情况，这是规则，这是一个好的范例——他们有能力，只是需要上下文。

给模型补上它所缺的最简单办法，就是把它放进 prompt——指令、相关事实、你想要的格式、几个例子。模型立刻使用这些信息，无需训练。这叫 in-context learning。

模型擅长遵循清晰的指令。所以，许多“模型做不到这个”，其实是“我没讲清楚”。Prompting 是要先穷尽的办法，而不是最后才用的。

Few-shot Prompting——用例子即时教会行为

给出三个完全符合你想要的输出的成品例子，然后要第四个——模式当场就学会了，不需要上学。

你不仅能塑造模型知道什么，还能直接在 prompt 里通过展示例子来塑造它怎么表现——这就是 few-shot prompting。想要特定的格式、语气或处理任务的方式？放两三个例子进去，模型就会照着模式来。

很多人以为必须 fine-tune 才能做到的事——一致的风格、特定的输出形态——往往靠上下文里的例子就能实现。免费，而且立即生效。

Context Window——局限：窗口与重复

一份简报管一场会议，但你能递出的页数有限，而且每次都得重新递一遍——对备忘录来说没问题，对百科全书就太笨拙了。

Prompting 有两个实实在在的局限。第一，一切都必须塞进 context window（上下文窗口），所以你没法把一个庞大的知识库整个贴进去。第二，它是按次调用的：你每次都要发送这份上下文，每次请求都要为此付费，而模型在两次调用之间从不保留它。

当知识大到装不进窗口、不断变化，或者你得一遍又一遍地粘贴同样的大块材料时，光靠 prompting 就不够了。这正是下一种技术登场的地方。

RAG——在运行时检索相关事实

开卷考试：你不必背下整座图书馆，而是在提问的那一刻查出少数几页相关内容，并依据它们作答。

RAG（retrieval-augmented generation，检索增强生成） 处理对 prompt 来说太大的知识：按需只取回相关的那一部分。提问时，它在你的文档中检索，取出最相关的 chunks——文本片段——并把这些放进上下文。模型就依据它们作答。

这样，模型依据的是你真实、当前的数据，却从未把它们背下来——你在它需要的那一刻递给它正确的那一页。（RAG 那门课会讲得很深；这里讲的是它在整套方案里的位置。）

Grounding——把回答锚定在庞大、多变、私有的知识上

一座你随时更新的参考图书馆：某个事实变了，你不必重印图书管理员的大脑——只需更新书架，下一次查阅就是最新的。

RAG 恰恰在 prompting 吃力的地方大放异彩：对窗口来说太大的知识库、经常变化的事实，或模型从未训练过的私有数据。更新一份文档，下一个回答就立刻反映出来——无需重新训练。

这叫 grounding——把模型的回答锚定在你的具体、当前、可能保密的信息上。当缺口是“它需要知道一些东西”，尤其是会变动的东西时，答案通常就是 RAG。

RAG 增加的是知识，不是新行为

给人更好的参考书，会让他们见多识广——但不会改变他们的写作风格，也不会教给他们新技能。进来的是事实，不是习惯。

RAG 的关键在于：它改变的是模型在这次回答中所知道的，而不是它从根本上怎么表现。模型底层的技能、风格和推理都没变——你只是给了它更好的事实去依据。

所以，RAG 是解决 knowledge gap 的对症工具，却是解决 behaviour gap 的错误工具。如果你需要模型始终以某种特定方式回应，检索更多文档是做不到的。这就指向了第三种技术。

Fine-tuning——用你的例子重新训练模型

不是为某个任务给工人做简报，而是送他们去接受培训，从而改变他们默认的工作方式——新的做法已经融入其中，不必每次再递给他们。

Fine-tuning 拿一个现有的模型，用你自己的一组例子继续训练它。这会调整它内部的 weights——存放模型一切能力的那些数字——于是新的行为就成了模型本身的一部分。

Prompting 和 RAG 在运行时补充信息，模型本身不变。Fine-tuning 则真的改变了模型。结果是，它默认就按你的方式表现，无需在每个 prompt 里放指令或例子——它已经学会了。

Fine-tuning 教什么：行为、格式、风格

一种培训，把一个通才变成能可靠地用你们公司的口吻写作、或每次都以同样方式处理你们那项特定任务的人——是习得的习惯，而不是提醒。

Fine-tuning 真正擅长的是行为：一致的语气或内部风格、特定的输出格式、模型反复执行的专门任务，或贴合你的领域措辞的方式。

当你有大量“这样的输入应当产出那样的输出”的例子时，fine-tuning 可以把这种模式深深地、可靠地固化下来——效果超出 prompt 里放例子所能达到的。它塑造的是模型怎么回应，并且是学进了它的 weights 里。

LoRA / PEFT——更便宜，但并不免费

送人去参加正规的培训项目，要花时间、花钱，还要一套课程——而一旦工作变了，你还得把他们重新培训一遍。

Fine-tuning 是昂贵的选项。它需要一份高质量的例子数据集（往往很大）、一套训练流程和专业能力。而且这不是一次性的成本：情况一变，你就得重新训练。

LoRA（Low-Rank Adaptation） 和其他 parameter-efficient fine-tuning（PEFT） 方法，只调整模型的一小部分，而不是全部 weights，从而让它更便宜。这降低了门槛——但 fine-tuning 仍然比 prompting 或 RAG 重得多。

Form vs Facts——fine-tuning 教形式，RAG 教事实

你训练一个人怎么写报告（习得的技能），但你把要填进去的数据递给他们（每次查来的）——技能是教的，事实是取的。

这条规则能把一切理清：fine-tuning 管模型怎么回应；RAG 管它知道什么。 Fine-tuning 教的是形式——风格、语气、格式、任务的形态——把它固化进 weights。RAG 提供的是事实——当前的、具体的、私有的信息——在运行时把它们取来。

一个改变行为；另一个改变知识。几乎每个“我该 fine-tune 还是用 RAG？”的问题，只要你问一句缺口到底是形式还是事实，就迎刃而解。

Fine-tuning for Facts——昂贵的错误

送人去上学，背一本每周都在变的电话簿——等他们背完，它已经过时了，而且每次更新你都得重新培训。

最常见的代价高昂的错误，就是为了添加模型应当知道的事实而去 fine-tune。这是一种 anti-pattern：它多半效果不好、成本很高，而最糟的是，事实在训练结束的那一刻就被冻结了。

数据一变，fine-tune 过的模型就过时了，你必须重新训练。会变的事实属于 RAG，那里的更新是即时的。为了灌输知识而 fine-tune，是在明明有简单又即时的办法摆在眼前时，去做那件困难又脆弱的事。

Fine-tune + RAG——fine-tune 形式，检索事实

一位受过“怎么做这份工作”培训的专家（fine-tuning），同时还会查阅一份始终最新的参考资料来获取细节（RAG）——两全其美，各司其长。

它们不是对手；最强的系统往往两者兼用。你可以为你领域的行为和风格 fine-tune 一个模型，并且在运行时用 RAG 给它喂当前的事实。形式来自 fine-tuning，事实来自检索。

把它们看作互补而非竞争，正是理解了这个区别的标志。你不是在选一种技术——而是把每一种用在它适合的那部分问题上。

Decision Ladder——从最底层的 prompting 开始

在报名培训班之前，你先试着把任务讲清楚——大多数时候，那就是它所需要的全部。

decision ladder（决策阶梯）从便宜、即时到昂贵、缓慢：先 prompting，再 RAG，最后 fine-tuning。永远从最底层开始。

先试清晰的指令和几个例子；极大一部分问题就在这里解决了，免费，几分钟。只有当 prompting 确实补不上缺口时，你才往上爬。从顶层开始——先去够 fine-tuning——正是那种有预算的新手所犯的昂贵错误。

只有当下一级够不着时才往上爬

只有当小工具确实干不了这活时，你才换更大的工具——而不是因为大的听起来更正式。

当知识对 prompt 来说太大、太新或太私密时，往上爬到 RAG——这是 prompting 填不上的明确的 knowledge gap。当你需要一致的行为，而 prompting 和例子无法可靠地做到，并且你有数据和预算去教它时，再爬到 fine-tuning。

每一级台阶，都只因下一级失败才成立。每一步的问题是：更便宜的技术在这里是真的不够用了，还是我只是以为它不够用？

大多数产品永远用不到最顶层

大多数活儿靠一份好的简报和一本参考书就能完成——完全重新训练是例外，只留给那种确实需要它的罕见情形。

诚实的现实是：绝大多数 LLM 应用用 prompting 和 RAG 就能很好地满足，根本不需要 fine-tuning。Fine-tuning 对于大规模根深蒂固的行为这一特定情形，是一件真实而强大的工具——但它是例外，而不是默认。

把它当作最后的手段，只有在较轻的几级明确失败之后才用。这比因为它听起来高级就去用它，能让你走对路的次数多得多。

Gap Diagnosis——先诊断，再选工具

好医生先诊断再开药——他们不会因为手术够戏剧性就动手术，而是先弄清到底哪里出了问题。

整个决策取决于把缺口说准。模型缺的是事实（RAG），需要更清晰的指令（prompting），还是需要融入不同的行为（fine-tuning）？这就是 gap diagnosis。

大多数错误的选择，都来自跳过这一步、直接跳到某种技术。问问到底缺什么，把它对应到最轻的合适工具，你就能避开那些昂贵的弯路——尤其是那个大弯路：为事实而 fine-tune。

Evals——衡量它是否真的奏效

你不会想当然地认为培训有用——你事后测试一下这位员工，看产出是否变好了。

不管你用哪种技术，都要用 evals 来验证它——在真实案例上做测试：这个改动真的改善了输出吗？更好的 prompt、一套 RAG 流水线、一次 fine-tune——每一个都是一个假设，要靠衡量来确认，而不是凭感觉。

这对 fine-tuning 尤其重要，因为它成本高，光凭一句含糊的“好像更好了”不足以证明它值得。衡量能让你诚实地判断：更重的技术是否真的比更轻的技术更配得上它的位置。

这一切如何连在一起

一个药箱：每种药对应一种病，医生按诊断来选——然后检查它是否有效。

这门课的概念合起来是一幅完整的图。Gap diagnosis 指向一种技术：指令 → prompting，事实 → RAG，行为 → fine-tuning。Prompting 包含 few-shot；fine-tuning 通过 LoRA 变得更便宜；RAG 与 fine-tuning 可以合成混合方案。而 evals 检验每一个选择。