速成课 · No. 37
AI 越来越多地做出影响人们生活的决策，而法律和你自身的责任正在迅速跟上。AI 治理是一门打造你能站得住脚的系统的功夫：知道你在哪里属于高风险，展示系统如何决策，让一个人保持可问责，并在监管者或客户发问时准备就绪。这是一份入门导览，而非法律建议。
19 个概念 · 每个都有图解 · 结尾附速查表 · 非法律建议
首先，为什么会有这些规则。AI 在做出影响人们生活的决策，法律和基本的责任感都在快速逼近。无视它是风险，不是策略。
AI Governance — 这门学问
即使开着自动驾驶，飞行员依然要为这趟飞行负责。AI 治理对软件来说是同一个道理：系统提供帮助，但总有人能为它负责。
AI 治理是负责任地打造 AI、并能为它站台的一门学问。落到实践上，就是四个习惯：知道你的风险等级、记录并留痕、让一个人保持可问责、保持透明。这门课几乎所有内容都是在展开这四点。
- 是什么
- 负责任地打造 AI 并能为它站台的学问。
- 运作方式
- 知道你的风险等级 → 记录并留痕 → 指定一个负责的人 → 坦率说明这是 AI。
- 例子
在上线信用评分之前，团队要回答：它属于哪一级，它如何决策记录在哪里，决策日志在哪里，谁能推翻一个决定。
- 陷阱
- 它不是最后才补上的文书工作，而主要是并不光鲜的工程活：日志、文档、监督。
- 关联
- 涵盖本课其他所有概念的总伞。
Consequential AI — 会做决定的 AI
建议一个词的工具，和决定谁能拿到贷款的工具，是两回事。一旦风险触及人们的生活，责任的门槛就会抬高。
过去 AI 只是自动补全文字。现在它会筛选求职者、给信用打分、标记医疗状况、审核言论。当 AI 从建议走向决定那些真正影响人的事情，出错的代价就会上升，人们期待你能说清它如何运作的预期也随之上升。这就是治理现在重要的原因。
- 是什么
- 做出或在很大程度上左右针对人的决策的 AI。
- 例子
- 自动补全是建议。筛选简历或信用评分，则是对某人生活的决定。
- 陷阱
- 这条界线很容易被忽略：功能"只是推荐"，但人们盲目照着推荐去做。
- 关联
- 这类系统通常落入 High-risk AI；它们正是 EU AI Act 的目标。
法律正在迅速跟上
当汽车遍地跑、事故会带来后果时，新的交通法规就会出现。监管会跟着技术，走到它可能造成伤害的地方。
各国政府正在认真监管 AI：EU AI Act 是里程碑，数十个司法辖区正在以各自的规则跟进。对影响重大的 AI 来说，"快速行动、没有规则"的时代正在结束。如果你的产品触达受监管地区的用户，或做出监管者在意的决策，合规就是有实打实处罚的硬要求。了解这些规则的轮廓，如今和了解安全与隐私法规一样，是工作的一部分。
这是入门导览，不是法律建议
地图能帮你规划路线，但过危险地段时，你仍然需要带一位向导。
这门课是对 AI 治理如何运作的入门导览，不是法律建议。目标是让你熟悉这些概念和风险，知道该留意什么，以及何时去找真正的专家。对于真正的高风险系统，要请以合规为业的人参与，而且越早了解义务越好，晚了就麻烦了。
地图：六组共 19 个概念
一张地铁图：先看到整条线路，再一站一站地坐过去。
这些概念分为六组：为什么要治理、风险等级、EU AI Act、举证（文档与日志）、问责，以及负责任的 AI。最后一章把这一切变成实践。之后每个概念都得到同样的对待：英文名称、一幅画面、一张图解和一张卡片——是什么 → 例子 → 陷阱 → 关联。
AI 如今做出影响重大的决策，法律和责任正在迅速跟上。治理就是打造你能站得住脚的 AI。这里只是入门导览，不是法律建议，但它已不再是可选项。
治理的核心思想：并非所有 AI 都被同等对待。你要承担多少监督，取决于这种用法有多危险。所以第一件事就是弄清你的等级。
Risk-based Approach — 义务随风险增长
卡丁车和客机都是交通工具，但没人会对它们一视同仁地监管。规则随失误可能造成的伤害而增强。
合理的监管按风险给 AI 分类。垃圾邮件过滤器和决定谁能获得假释的系统都是 AI，但它们需要的监督天差地别。这就是风险分级：对人的潜在伤害越大，适用的义务越多。它处于 EU AI Act 和大多数严肃框架的核心。治理的大部分工作，就是弄清你的用法落在哪一级，因为这决定了你究竟要承担什么。
- 是什么
- 义务随对人的潜在伤害而增长。
- 例子
- 垃圾邮件过滤器——几乎没有义务。假释决定——要文档、监督、风险管理。
- 陷阱
等级由_用途_决定，而不是技术：同一个模型，用在聊天机器人里可能低风险，用在招聘里就是高风险。
- 关联
- EU AI Act 的基础；把世界分成 High-risk AI 和 Lower-risk AI。
High-risk AI — 左右人生的用途
安全规则最多的活动，正是出错最伤人的那些：外科手术、航空、金融。AI 遵循同样的逻辑。
某些用途被归为高风险，因为一次失误就会实质性地影响某人的生活：招聘与解雇、信贷与贷款、教育、医疗、执法、获取基本服务。做出或大幅左右这些决策的 AI，要承担实打实的义务——文档、人工监督、风险管理，以及向监管者说明它如何运作的能力。如果你的系统涉及这些领域，在确认不是之前，就先当它是高风险。
- 是什么
- 出错会实质性影响一个人的生活、权利或获取机会的 AI。
- 例子
- 筛选简历的模型，或决定谁能拿到贷款的评分。
- 陷阱
- 监管的重心就落在这里——"以后再说"行不通。
- 何时适用
- 你涉及招聘、信贷、教育、医疗、执法或基本服务——就当它适用。
- 关联
需要 Documentation、Audit trail、Human oversight、Explainability。
Lower-risk AI — 大多数 AI 属于此类，但要知道是哪些
大多数日常工具不需要特别许可，只有真正危险的才需要。本事在于上线前分清哪个是哪个。
令人安心的是：大多数 AI 用途不是高风险。写作助手、推荐功能、回答常规问题的聊天机器人，面临的义务要轻得多，往往只是基本的透明度。治理在风险高的地方重，在风险低的地方轻。关键的一步是诚实归类：别想当然觉得自己安全，也别恐慌地认为所有东西都被监管。
- 是什么
- 出错不会实质性改变一个人生活的 AI；义务主要是透明度。
- 例子
- 写作助手、商品推荐、FAQ 机器人。
- 陷阱
这是诚实检查之后的结论，而不是假设。"我们只是个聊天机器人"——直到这个机器人开始替人做决定。
- 关联
- High-risk AI 的反面；基线是 Transparency。
并非所有 AI 受到同等监管——义务随风险增长。高风险用途（招聘、信贷、医疗、基本服务）有实打实的义务；大多数 AI 则轻得多。第一件事是诚实地弄清你的等级。
EU AI Act 是里程碑式的 AI 监管，它的形态正在成为全球参照。你不需要读法律原文——你需要的是它的结构，因为世界上大多数地方都在效仿它。
EU AI Act — 四个层级，每层有各自的规则
一部建筑法规：有些建筑直接禁止，对高楼要检查到每一颗螺栓，对花园小棚则几乎不管。
EU AI Act 按风险给 AI 分类，并按层级适用规则。一小部分用途被直接禁止。高风险系统在部署前要承担沉重的义务——文档、监督、风险管理。其余大多数面临的是透明度义务——告诉人们他们在和 AI 打交道——或几乎没有义务。记住这座金字塔，你就理解了这部法案的大半。
- 是什么
- 把 AI 分入风险层级并为每层设定规则的欧盟法规。
- 运作方式
禁止 → 直接禁用。高风险 → 部署前履行义务。透明度 → 披露这是 AI。最小风险 → 几乎没有要求。
- 例子
- 面向欧盟客户的信用评分是高风险；客服聊天机器人主要是透明度。
- 陷阱
- 只要你的产品触达欧盟用户就适用——即使你的公司不在欧洲。
- 关联
- Risk-based approach 的立法化；通过 Brussels effect 扩散。
Prohibited Practices — 直接禁止
有些事无论你提交多少材料，都拿不到许可。
金字塔顶端是被禁止的做法：操纵性或滥用性的 AI，以及某些类型的监控。这里没有合规路径——再多文档也无法让它们合法。你就是不去做。
- 是什么
- 被直接禁止的 AI 用途。
- 例子
- 操纵性或滥用性的 AI、某些类型的监控。
- 陷阱
- 这里没有什么可以"调优"——唯一正确的答案是不做。
- 关联
- EU AI Act 金字塔的最高一层。
Penalties — 罚款很严厉
一笔大到公司无法一笑置之的罚款——足以让董事会认真对待这条规则。
这部法案是有牙齿的：严重违规的罚款可达数千万欧元，或全球年营业额的相当比例，以较高者为准。这不是象征性的罚款——它的量级足以让合规成为真正的业务优先事项。这正是 AI 治理从"最好有"变成董事会级关切的原因。
- 是什么
- 最高数千万欧元或全球营业额一定比例的罚款——以较高者为准。
- 例子
一个服务欧盟用户的高风险系统，如果没有所需的文档和监督，就是直接走向罚款的路。
- 陷阱
- 拿合规去赌，比提前规划花得更多。
- 关联
- 让 Governance by design 不只是正确，而且划算。
Brussels Effect — 全球基准
在一个大市场定下的标准，整个行业都会采用，因为做一个合规的产品比为每个地区各做一个更容易。
和欧盟早先的数据隐私规则一样，AI Act 对实践的塑造远超欧洲。这就是布鲁塞尔效应：一个大市场的监管成为事实上的全球标准，因为企业按最严格的规则来做，而不是维护许多个版本。许多其他司法辖区也正在以类似的风险分级形态制定自己的 AI 规则。所以即使在欧盟之外，这部法案的结构也是判断 AI 监管走向的好向导。
- 是什么
- 一个大市场的规则成为世界标准，因为这样更便宜。
- 例子
- 欧盟的数据隐私规则改变了全球的产品；AI Act 正在做同样的事。
- 陷阱
- "我们不在欧盟"是个站不住脚的理由——规则的形态终究会到来。
- 关联
- 把 EU AI Act 和 Risk-based approach 带向全世界。
EU AI Act 按风险给 AI 分层：少数用途被禁止，高风险用途承担沉重义务，大多数只需透明度。罚款很严厉，它的分层形态正在成为全球基准。
大多数高风险义务归结为一个实际要求：能够展示你的系统如何运作、做了什么。这就是文档和日志——而且从一开始就内建，比事后补上便宜得多。
Technical Documentation — 展示它如何决策
一份写下来的食谱，任何人都能看清这道菜究竟怎么做——而不是一个耸耸肩说"反正就是做出来了"的厨师。
一项关键义务是文档：能够解释你的 AI 系统如何运作——它用什么数据、如何做决策、有哪些局限和风险。监管者和客户越来越期待你展示这些，而不只是声称系统没问题。一个连开发者自己都看不透的高风险黑箱，正是这些规则所针对的。你在构建的同时把它写下来，把"相信我们"变成"这是记录"。
- 是什么
- 对系统的数据、决策逻辑、局限和风险的书面说明。
- 例子
对一个简历筛选模型：它用哪些简历训练、用哪些信号、在哪里会失误、是如何测试的。
- 陷阱
- 上线后凭记忆去写，既慢又不准确。
- 关联
与 Audit trail（"如何决策" + "做了什么"）搭档；是 Explainability 的基础。
Audit Trail — 记录它实际做了什么
一个记录每个动作的飞行记录仪，事故之后有精确的记录可供研究，而不是靠猜。
除了文档，你还要保留一份 audit trail——系统实际做了什么的日志：它做出的决策、输入、输出、有谁参与。出了问题时，或当监管者、受影响的人问"为什么"时，audit trail 就是一个负责任的回答与耸肩之间的差别。它和可观测性是同一套日志纪律，只不过这里服务于问责。
- 是什么
- AI 决策的日志：输入、输出、时间、哪些人参与了。
- 例子
- "09:31，简历 #4814，被拒，审核人推翻"——给候选人的答复就备好了。
- 陷阱
- 没有日志，你只能事后重建、靠猜，而不是回答。
- 关联
- 可观测性的兄弟；有助于弥合问责缺口并改进系统。
Governance by Design — 内建，而不是事后补装
盖楼时按规范布线是常规操作；等墙都砌好了再撬开去补线，则是一场噩梦。
实际的教训就是 governance by design：从一开始就内建治理。给一个设计时没考虑文档和审计日志的系统补上它们，意味着事后重建它如何运作——缓慢、易错，有时根本不可能。把"我如何展示这个系统如何运作、做了什么"当作和功能本身并列的设计需求，这样的团队几乎白拿了大部分合规工作。
- 是什么
- 日志、文档和监督是设计需求，而不是项目末尾的附加项。
- 例子
- 数据库 schema 从第一天就有模型决策表；PR 模板里有"更新系统说明"。
- 陷阱
- 内建治理最便宜的时间，是在你需要它之前，而不是在监管者的最后期限下。
- 关联
- 你几乎白得 Documentation 和 Audit trail 的方式。
高风险义务大多归结为两件事：展示系统如何决策（文档）和记录它做了什么（audit trail）。从一开始就把两者内建——事后补上问责既痛苦，有时还不可能。
自主 AI 提出了一个法律仍在厘清的难题：当 AI 自行行动并造成伤害，谁来负责？别让这种模糊成为你的辩护理由。
Accountability Gap — 谁为伤害负责？
一辆自动配送小车撞到了人。是制造商、运营方，还是派它出去的人？每一方都指向别人。
AI 智能体会自行行动——预订、购买、决策、发送。这就打开了一个问责缺口：当自主系统造成伤害时，谁来负责并不总是清楚——是模型开发者、部署它的公司，还是放手让它运行的用户。法律正在积极厘清这件事，尚无定论。对身为构建者的你来说，这种模糊本身就是风险。你希望"谁负责？"的答案就在你的产品之内，而不是在纠纷中由别人替你给出。
- 是什么
- 自主 AI 造成伤害时，究竟谁负责的模糊地带。
- 例子
- 一个智能体买错了东西，把钱汇给了错误的一方——开发者、公司和用户互相指责。
- 陷阱
- 法律还没有定论——所以你得在自己的产品里先做出决定。
- 关联
- 由 Human oversight 和 Audit trail 来弥合。
Human Oversight — 人始终保持可问责
即使开着自动驾驶，飞行员依然要为这趟飞行负责：自动化提供帮助，但由一个有名有姓的人为结果负责。
一条写进高风险系统规则的长期原则是人工监督：由人对影响重大的 AI 决策保持可问责。AI 可以协助、推荐，甚至行动，但某个人或组织仍要为结果负责，并能监督和介入。这是产品设计中 human-in-the-loop 的治理面向：让人真正掌控不只是更安全——它让系统出错时，责任仍有处可落。
- 是什么
- 一个有名有姓的人为 AI 的决策负责，并能出手介入。
- 例子
- 模型建议拒绝一份贷款申请；一位审批员看到理由，并能推翻它。
- 陷阱
- 监督必须是_实质性_的：对什么都点"确定"的人不算监督。
- 关联
- 弥合问责缺口；High-risk AI 的必备项。
Blame Offloading — '是 AI 干的'不是辩护理由
你不能把糟糕的结果归咎于你自己选用的工具。用好它的责任仍在你身上。
要避免的错误是 blame offloading——把 AI 当成卸责的手段。当自主系统造成伤害时，"是 AI 做的决定"不会是可接受的回答：责任会流向构建并部署它的人和组织，不管技术让你多容易把目光移开。所以要为此做设计：在你的产品里明确人的责任在哪里，别搭建一个人人都能振振有词地说"这不是我拍板的"的系统。
- 是什么
- 试图把伤害的责任推给 AI 本身。
- 例子
- 一次错误拒绝之后，公司说"是算法决定的"——这并不能让它卸下责任。
- 如何避免
- 为产品中每个影响重大的 AI 决策指定明确的负责人。
- 关联
- Human oversight 的反模式；问责缺口的症状。
自主 AI 打开了一个法律仍在厘清的问责缺口。让一个人实质性地保持可问责并能介入——因为当智能体造成伤害时，"是 AI 干的"不会是辩护理由。
在法律义务之外，还有一套更广泛的负责任地构建 AI 的实践——其中很多既是合规，也是让产品成功的信任。
Transparency — 告诉人们这是 AI
一块写着"自动回复"的标签，这样没有人会被误导，以为是真人处理的。对他们在打交道的对象保持诚实。
各类法规的一个基本期待是透明度：人们有权知道自己何时是在与 AI 而非真人互动，以及内容何时由 AI 生成。披露某个功能是 AI，不只是打个合规的勾——它是产品设计中让用户保持清醒预期的诚实表述。隐瞒某物是 AI，或把 AI 的输出冒充成人的，会侵蚀信任，而且越来越多地违法。在这里，好的产品设计和好的治理指向同一个方向。
- 是什么
- 披露人们正在与 AI 对话，以及内容由 AI 生成。
- 例子
- 标有"AI 助手"徽标的客服聊天；标注"AI 生成"的订单摘要。
- 陷阱
- 把 AI 冒充成真人会破坏信任——而且越来越违法。
- 关联
- Lower-risk AI 的基线；High-risk AI 整套要求的一部分。
Bias & Fairness — 警惕不公平
一个悄悄偏向某一群体的招聘流程——并非有意设计，而是源于继承来的模式。即使没人有此意图，伤害也是真实的。
负责任的 AI 的一个核心关切是偏见与公平。模型从带有社会既有偏见的数据中学习，所以 AI 可能在无人有意为之的情况下产生不公平的结果——在招聘、贷款，以及任何影响人的场景。对高风险用途来说，这既是伦理问题也是法律问题，而且不会自行消失。你必须主动检查：系统对不同群体是否公平，有没有歧视性的模式？公平是需要度量和管理的，而不是想当然。
- 是什么
- AI 因继承了数据中的偏见，而对不同人群不公平对待的风险。
- 例子
- 一个用过往录用记录训练的招聘模型，通过某一群体的比例明显高于另一群体。
- 如何检查
- 比较各群体的结果，寻找歧视性模式，并定期重复。
- 陷阱
- 不加审视，模型就会悄悄把你绝不会选择的不公平自动化。
- 关联
- 负责任的 AI 的一部分；High-risk AI 的必修课。
Explainability — 在决策重要之处给出理由
一位能告诉你为什么拒绝你的信贷员，对比一台只会说"不"的机器。
对影响重大的决策来说，可解释性很重要：能为一个结果给出有意义的理由，而不是一个不透明的裁决。被 AI 决策影响的人——被拒贷、被筛出职位——越来越多地拥有获得解释的权利。给出解释既公平，也往往是必须的。它与文档和监督相呼应：一个你理解到能解释的系统，才是你能向受影响的人辩护的系统。
- 是什么
- 能为一个具体的 AI 决策给出易懂理由的能力。
- 例子
- "被拒：收入低于门槛，信用记录较短。"
- 陷阱
- 如果你无法解释一个决策，你也无法为它辩护。
- 关联
- 建立在 Documentation 之上；让 Human oversight 有可操作的依据。
负责任的 AI 与合规相互重叠：告诉人们他们在和 AI 打交道，主动检查偏见和不公平，并能解释影响重大的决策。好的治理和好的产品设计指向同一个方向。
做得好的治理不是最后才补上的官僚程序。它是从一开始就养成的几个习惯，让你能交付真正站得住脚的、影响重大的 AI。
Proportionate Governance — 认清你的等级，按需构建
你不会给花园的门装和银行金库一样的锁。你先评估要保护什么，再配上相称的安保——不多也不少。
整套实践始于诚实的归类：这个用途是高风险还是更轻？大多数功能风险较低，只需基本的透明度。高风险的则要上全套——文档、audit trail、监督、公平性检查。这就是相称的治理：别用合规作秀淹没一个小功能，也别把高风险的功能当作不是来上线。而对真正高风险的系统，要请来真正的专业人士：这门课帮你入门，但真正的合规由专业人员来做。
- 是什么
- 治理投入与真实的风险等级相匹配。
- 例子
- FAQ 机器人：一个"AI"标签加合理的日志。信用评分：全套方案外加合规律师。
- 陷阱
- 两种失败方式：在小事上作秀，在高风险上马虎。
- 关联
- 把 Risk-based approach 应用到你的产品；把本课所有实践串联起来。
一切如何关联
一幅拼图：每一块单独看意义不大；拼在一起才成画面。
这些概念构成一个整体。EU AI Act 采用 risk-based approach，把 AI 分为高风险和低风险。高风险会带来文档、audit trail、人工监督、可解释性和偏见检查。audit trail 和监督弥合问责缺口。而 governance by design 是让这一切变得便宜的办法——从第一天就内建。
- 哪一级风险——因左右人生而属于高风险，还是更轻？
- 是否透明——人们知道自己在与 AI 打交道吗？
- 你能否说明它如何运作，并有一份记录它做了什么的 audit trail？
- 是否有人负责，并能监督和介入？
- 是否检查过偏见，并能解释影响重大的决策？
- 对于高风险，是否请来了真正的专家，而不是只靠一份概览？
- 你知道自己的风险等级，并让投入与之匹配。
- 你对这是 AI 保持透明，并记录它如何运作。
- 你保留 audit trail，并让一个人对影响重大的决策负责。
- 你检查偏见，并能解释重要的决策。
- 你从一开始就内建治理，并在高风险时请来专家。
速查表：全部 19 个概念
为什么要治理
- AI Governance治理 AI
负责任地打造 AI，并能为它站台。
- Consequential AI会做决定的 AI
对人们生活做决定的 AI——门槛抬高的原因。
风险等级
- Risk-based Approach风险分级
义务随潜在伤害而增长。
- High-risk AI高风险用途
招聘、信贷、教育、医疗、执法、基本服务——全套要求。
- Lower-risk AI有限 / 最小风险
大多数 AI；主要需要透明度。是诚实检查之后的结论。
EU AI Act
- EU AI Act欧盟的 AI 监管
金字塔：禁止 → 高风险 → 透明度 → 几乎没有要求。
- Prohibited Practices不可接受的风险
操纵性或滥用性的 AI、某些监控——不要去做。
- Penalties罚款
数千万欧元或全球营业额的一定比例——以较高者为准。
- Brussels Effect监管外溢
一个大市场的规则成为世界标准。
举证
- Technical Documentation系统文档
数据、决策逻辑、局限和风险——写下来。
- Audit Trail决策日志
系统实际做了什么的日志。
- Governance by Design从第一天做起
尽早内建——事后补装代价高昂，有时不可能。
问责
- Accountability Gap责任缺口
自主 AI 造成的伤害，谁来负责并不清楚。
- Human Oversighthuman-in-the-loop
一个有名有姓的人负责，并能介入。
- Blame Offloading'是 AI 干的'
反模式：你不能把责任推给工具。
负责任的 AI
- TransparencyAI 披露
说明这是 AI，并给 AI 生成的内容加标签。
- Bias & Fairness算法偏见
比较各群体的结果——公平是度量出来的，不是想当然。
- Explainability获得解释的权利
为影响重大的决策给出易懂的理由。
用好它
- Proportionate Governance量体裁衣的治理
投入与风险等级相匹配；高风险请专家。
AI 治理就是打造你能负责的 AI：知道你的风险等级，保持透明，记录它如何决策，让一个人保持可问责，并检查公平性——从一开始就内建，高风险处则请真正的专家。