每台笔记本里都有一个 agent —— 以及 token 账单的终结

这个春天大部分时间都是一场关于 token 账单的恐慌 —— Uber 在四个月里烧光了一年的 AI 预算，Microsoft 把 Claude Code 从自己的工程师手里 撤了下来。这周，NVIDIA 给出了一个结构性的答案，而且它今秋就会到来：agent 搬进你的笔记本。

在 Computex 上，NVIDIA 发布了 RTX Spark —— 一颗搭载 Blackwell GPU、128GB 统一内存的 Windows-on-Arm 超级芯片，它可以 在本地运行一个 1200 亿参数、上下文最高达一百万 token 的模型， 用于长时间运行的 agent 任务。它今秋将随 Dell、HP、Lenovo、Asus 的笔记本上市 —— 还有 Microsoft 自家的 Surface。Apple Silicon 今天已经能做一个更轻的版本 （一台 Mac 能以聊天速度运行一个 30B 模型）。agent 正从云端走下来，走上书桌。

三个问题，一步棋

本地 AI 不只是“一台更快的笔记本”。它悄悄地同时回答了今年最大的三个头疼问题。

电表停了。 云的魔力在于你前期什么都不用付。这也是它的诅咒：你按 token 付费，永远地付下去 —— 这正是那场恐慌。本地用一次性的芯片换来了每次调用近乎为零的边际成本。独立分析把 交叉点定在每天几百万 token 左右：低于这个量，云更便宜； 每天超过约 500 万 token，拥有硬件就划算了， 电表就停了。对一个高流量的 agent 来说，这就是租与买的区别。

你的数据还是你的。 有了本地推理，提示词和文档永不离开设备。这不是一个锦上添花的功能 —— 它正是让云端推理在 GDPR、HIPAA 以及整个行业的数据驻留规则下成为法律责任的那个东西。 它也是对 AI 悄悄给你建档这件事最干净的回答： 如果你的数据从不离开房间，模型就没法把它送到任何地方。

处理轻快的活儿更快。 在端侧，首 token 时延比往返一趟数据中心 快 4 到 13 倍 —— 15–80ms 对 180–600ms。自动补全和快捷操作感觉是即时的，而不是卡顿的。

诚实的提醒：本地不会取代前沿

我不想把它吹过头。本地运行的开放权重模型 大约落后前沿 3–6 个月， 你要承担硬件成本和运维，而单个最强的大脑仍然在云端。所以这不是“扔掉 API”。 它是一个新的、真正不错的层级（tier） —— 快、私密、每次调用免费，但不是地球上最聪明的模型。

这让它成了我反复在做的同一步棋：混合

如果“用一个又快又便宜又私密的模型干简单的活儿、用前沿干难的活儿”听起来很耳熟，那它就该耳熟 —— 这正是 便宜的模型能干 90% 的活儿， 只不过现在这个便宜的模型跑在端侧。把无聊的、高流量的、对隐私敏感的那 90% 路由到本地模型， 在那里它是免费的、数据也留在原处；把真正难的那 10% 送到云端的前沿。 行业自己务实的共识也是一样的：前沿用于推理，本地用于执行。

而且它只有在你保持可替换时才有效

这里有个陷阱，而且和上周的是同一个： 你的 agent 不应该知道、也不应该在乎模型住在数据中心还是笔记本上。如果你建了一个 与模型无关的接缝 —— 对接“一个模型”，按任务层级路由 —— 那么本地就只是你用一个配置值指向的 又一个层级，第一天你就能为大部分流量换来更便宜、更私密、更快的推理。如果你把自己焊死在 单一云厂商的 API 上，你根本拿不到这份礼物；当答案就摆在书桌上时，你还会继续为每个 token 交租。

token 恐慌、隐私问题和延迟问题，这个春天看起来像是三场各自独立的危机。今秋它们得到了 一个共享的、部分的答案：把模型搬到用户和数据本来就在的地方。它不会取代前沿，也不是免费的 —— 但对那 90% 本来就不需要前沿的活儿来说，它结束了电表。横在你和这场胜利之间的唯一东西， 就是你有没有把系统建成能让模型移动。如果你建了，笔记本就刚刚变成了又一个层级。 如果你没建，当答案就摆在你书桌上时，你还在为每个 token 交租。