地图：六组共 20 个概念

一张地铁线路图：先看到整套线路，再一站一站地乘过去。

先是三个基础概念：云端 AI、设备端 AI，以及把它们分开的网络 round-trip。然后是六组，每章一组：为什么要在本地运行、如何把模型做小、坦诚面对能力上的取舍、专精、hybrid 模式，以及如何用好它。

之后每个概念都按同样的方式讲：它的英文名称（要记住——这就是术语）、一幅来自日常生活的画面、一张图示，以及一张带有这些字段的卡片：问题、思路、例子、代价、何时使用和关联。

Cloud AI — 在数据中心里的模型，通过网络访问

每次要答案都给远方的办公室打电话——你的问题传过去，专家作答，答案再传回来，每一次都是如此。

默认情况下，模型运行在云端（cloud AI）——数据中心里强大的服务器上——你的设备通过互联网访问它。你发出请求，它在远程被处理，响应再传回来。大多数 AI 都是这样工作的，这也是最大、最聪明的模型得以存在的原因：它们需要远超手机的硬件。但这也意味着，每一次调用都要经过网络，去往别人的计算机。

On-device AI / Edge AI — 模型就在你身边

一位专家就住在你家，而不是在城市另一头——你直接问，答案立刻就来，不用打电话，也不用赶路。

设备端 AI（on-device AI），也叫 edge AI，在本地运行模型——在手机、笔记本、传感器、汽车上——不需要去往服务器。计算就发生在数据所在的地方，在你手里的硬件上。Edge（边缘）指网络的边缘：远离中心数据中心，处在用户和设备所在的地方。请求不再被送去别处作答，而是当场算出答案。

Round-trip — 全部差别就在一次网络往返

在家做饭 vs 叫外卖——饭菜可以一样，但前者每次都要骑手穿过半个城市，后者不用。

云端和设备端的核心区别不在 AI 本身，而在 round-trip：你的数据是否离开设备，以及你是否要等网络。这一个区别，驱动着本课里的每一项好处和取舍。把工作留在本地，你得到隐私、离线能力和速度，但只能用设备跑得动的模型。发到云端，你能用上最大的模型，但要为 round-trip、成本和数据外流付出代价。模型在哪里运行，几乎决定了一切。

Privacy — 数据从不离开

把日记锁在家里的抽屉里，和把每一页都寄给一家公司去读——前一种把秘密留在你身边，后一种不会。

在本地运行最大的理由是隐私（privacy）：如果模型就在设备上，它处理的数据就无需离开——不用把个人照片、私人消息或敏感记录发到服务器。对于用户更愿意留在自己硬件上的东西，或是法规禁止交给第三方的数据，设备端就是答案。在数据所在的地方处理它，而不是把它送到别人的计算机上，这是任何云服务都无法完全比拟的隐私保证。

Offline — 没有网络也能用

在隧道里，纸质地图照样能用，而在线地图一片空白——本地的东西不依赖信号。

设备端模型可以**离线（offline）**工作——在飞机上、在隧道里、在偏远地区，任何没有可靠网络的地方——因为它不需要服务器。网络一断，云端 AI 就干脆停了。对于必须随处可用、或不能假定有网络的功能，在本地运行不是优化，而是唯一的选择。不依赖网络，是云端从根本上无法提供的能力。

Latency — 没有 round-trip，就不用等

凭记忆回答，和每次都打电话问人——凭记忆是即时的。

**延迟（latency）**是从请求到响应的时间。没有网络 round-trip，设备端模型几乎可以立刻响应，没有连到远方服务器再返回的那段延迟。对于每一刻都很要紧的功能——自动补全、对输入作出反应——这是一项决定性的好处。

Per-call cost — 每次调用都不用付账单

凭记忆回答是免费的。给付费顾问打电话，则每通电话都要收费。

模型运行在用户已经拥有的硬件上，所以没有单次调用成本（per-call cost）——你不必为每个请求向服务商付费。对于高频使用的功能，“即时且每次调用免费”是一个强大的组合，是带着 round-trip 和计费表的云端给不了的。

SLM — 小模型能装进大模型装不下的地方

用一本口袋手册代替一整面墙的百科全书——全面程度差得多，但它装得进口袋，需要时就在手边。

设备的内存和处理能力有限，所以设备端 AI 使用小语言模型（SLM，small language models）——参数比巨型模型少得多、刻意做得紧凑的模型。它们不可能知道或做到最大模型所能做的一切，但小到足以在手机或笔记本上运行。整个 edge AI 领域都建立在它们之上：能力不弱的小模型这一趋势，才让在本地运行真正的 AI 变得切实可行。

Quantization — 精度更低，体积小得多

把一个测量值存成“约 3.1”而不是“3.14159265”——会损失一点精度，但这个数字占的空间小得多，而且在大多数场合照样够用。

缩小模型的一项关键技术是量化（quantization）：用更低的精度——大致说，就是更少的位数——来存储模型内部的数字（权重，即 weights），这样整个模型占用的内存大幅减少，运行也更快。你牺牲一点点精度，换来体积的大幅缩减，对于装进设备来说，这通常是笔很划算的买卖。量化就是把一个原本装不进手机的模型压缩成能装进去的模型的办法，质量损失往往几乎察觉不到。

Distillation — 小模型向大模型学习

一个学徒，为了某一项具体工作而学师傅的手艺——不是师傅会的一切，但足以把这项工作做得几乎一样好，而体积只有一小部分。

另一项技术是蒸馏（distillation）：训练一个小模型去模仿大模型，让小模型以紧凑得多的形式，掌握大模型的大部分能力。大的**教师（teacher）模型的行为，被转移到一个小的学生（student）**模型里，而学生便宜到可以在本地运行。从一开始就做得紧凑的 SLM、进一步缩小它们的量化，再加上转移能力的蒸馏，三者结合，就能把一个有用的模型做得足够小，住进设备里。

Capability Trade-off — 天下没有免费的午餐

口袋计算器 vs 研究实验室——计算器即时可用、总在身边，但你不会让它去设计一座桥。

这就是能力取舍（capability trade-off）：小模型确实比大模型能力弱。它的通用知识更少，处理复杂推理没那么可靠，在困难的开放式任务上更弱。让它能在手机上运行的那份紧凑，是用原始能力换来的。所以设备端 AI 并不是简单地把云端 AI 搬到本地——它是一个刻意做弱的模型，换来隐私、离线使用和速度。假装小模型一样聪明，正是 edge 功能让人失望的原因。

Task Fit — 常规任务放设备上，难题交给云端

一位熟练的本地维修工能把家里的大多数活干得很好，只有那种罕见的、真正棘手的活，你才去找专家。

小的设备端模型很适合常规、范围明确的任务——文本分类、简单抽取、转写、自动补全、直接了当的辅助——这些活本来就用不着前沿模型。它在真正困难、新颖、多步骤的问题上就吃力了，而那正是最大的模型发挥价值的地方。这和难度的分布正好吻合：大多数日常任务完全在小模型能力范围之内，只有少数困难的任务才真正需要云端的巨型模型。

所以要讲究的是任务匹配（task fit）：让任务与设备跑得动的模型相匹配。如果一个功能的工作足够常规，设备端在隐私、离线、延迟和成本上都占优。如果它确实需要前沿水平的推理，设备做不到，就需要云端。知道这条线划在哪里，是 edge AI 的核心判断。把太难的活硬压给小模型，质量就会受损；把本该上云的活留在本地，功能就会表现不佳。

Specialization — 专注的小模型 vs 通用的大模型

一位本地外科医生，同一台手术做过几千次，胜过一位很少做这台手术的杰出通才——在具体任务上，窄而精的功力胜过广博的知识。

小模型作为通才很弱，但在某个具体、定义明确的任务上，它可以媲美甚至击败大得多的通用模型。这就是专精（specialization）。巨型模型把能力分摊到所有事情上；为单一任务训练的小模型，则把有限的能力集中在那一处。所以对于狭窄的任务——你特定的分类、你特定的抽取——一个小的专精模型可以既足够好，又小到能在本地运行。专精挽回了缩小模型时损失的大部分能力。

Fine-tuning — 为小模型的工作打磨它

让学徒集中训练他每天都要做的那一件事——哪怕没有师傅那样广博的本领，他也会把这件事做得很出色。

让小模型以小搏大的办法，是针对你的具体任务对它做 fine-tuning（另有一门专门的课程讲这个）：用恰好是它要做的那项工作的样例来训练它，把这一项技能深深刻进去。针对你狭窄用途调优过的小模型，在这个用途上可以胜过大得多的通用模型——而且它仍然小到能装进设备。它不是一个弱的通才，而是一个碰巧很小的锋利专家。

Narrow + Local — 强大的组合

一件只为一个用途打造、就放在手边的工具——不是你拥有的最万能的东西，但在那项任务上最快、最可靠。

设备端 AI 的制胜模式是 narrow + local：一个把一件事做得很好的小模型，就在设备上运行。你放弃了通用性——而单一用途的功能本来就不需要它——换来隐私、离线能力、即时响应和零成本。对于一个专注的功能，这种组合完全可以击败云端的巨型模型——更快、更便宜、更私密，而且在它所服务的那一件事上同样出色。专精，就是把“又小又弱”变成“又小又在关键处出色”的东西。

Hybrid Routing — 常见情形走本地，困难情形走云端

一家诊所，护士就地处理常规就诊，只把复杂病例转给远处的专科医院——大多数需求在本地满足，少数困难的才往上转。

最强的模式是 hybrid：在设备上运行一个小模型，处理常见、常规或私密的工作，只在真正困难的情形下才**升级（escalate）**到强大的云端模型。因为大多数请求都很简单，大多数都在本地处理——又快、又免费、又私密——只有困难的少数才会往返云端的巨型模型。这就是模型经济学里的 routing（路由）思想，用在设备与云端的边界上：默认选最便宜、最本地的选项，只有当重型模型值得时才动用它。

Privacy Boundary — 把私密的和离线的部分留在设备上

你在家处理敏感文件，只把真正需要外部专家的部分寄出去——能保持私密的就保持私密。

hybrid 设计让你把对隐私敏感的部分和必须离线可用的部分放在设备上，同时仍然把需要强大推理的重活交给云端。个人数据可以在本地处理、从不外流；只有非敏感、确实困难的工作才会发出去。这样你就不必拿隐私换能力，也不必拿能力换隐私——你设计系统，让每一部分都运行在符合其需求的地方。这条边界本身——privacy boundary——就成了一件设计工具。

Device–Cloud Split — 把边界当作架构决策

决定哪些工作留在本地分部，哪些交给总部——一种有意的分工，而不是非此即彼的选择。

成熟的做法，是把“这个在哪里运行”当作逐个功能的决策——就像云架构的分层，或 LLM 阶梯的各级台阶。这就是设备–云端划分（device–cloud split）。有些工作出于隐私、离线、延迟或成本，属于设备；有些工作出于能力，属于云端；好的系统把每一项放在合适的位置。这不是一个全局的单一选择——而是你一块一块设计出来的架构。

Decisive Benefit — 当本地真正占优时才上设备

当隐私、速度、离线或成本让某件事明显更适合在内部做时，你就把它留在内部——只有真正需要外部专家时才外包。

当设备端的某项好处起**决定性（decisive）**作用时，就上设备：数据必须保持私密，功能必须能离线，响应必须即时，或者单次调用成本必须为零——并且任务足够常规（或足够专精），小模型能够胜任。不要仅仅为了避开云端，就把真正困难的通用任务硬塞给一个弱的本地模型；也不要把本可以留在家里的私密数据发到云端。让位置与这个功能真正看重的东西相匹配。

Honest Scoping — 对取舍保持坦诚

你接受口袋工具不是车间——只把它用在它真正能做的活上，而不是假装它是它不是的东西。

要讲究的是坦诚界定范围（honest scoping）：本地模型用真实的能力，换来隐私、离线、速度和成本。不要假装小模型和巨型模型一样聪明；而是把设备端功能的范围，限定在小模型真正能做好的事情上——把它收窄、让它专精，或保持它的常规性——然后把困难的部分路由到云端。用在它的长处与需求相吻合的地方，edge AI 是变革性的；硬推到小模型做不到的地步，它只会让人失望。带着清醒去选择它。

这些概念如何联系在一起

一架天平：一边托盘是云端的能力，另一边是设备的好处。课程里的每个概念，要么拨动一个托盘——要么帮你两边都得到。

Cloud AI 要付出 round-trip；on-device AI 避开了它，这就是它带来四大好处的原因。但设备需要小模型——SLM、quantization、distillation——而它们要付出能力的代价。Specialization（fine-tuning、narrow + local）挽回其中很大一部分，其余由云端通过 hybrid 来覆盖。