速成课 · No. 37
当 AI 开始做出影响重大的决策，法律和你自身的责任都会迅速迎头赶上。治理是一门打造你能站得住脚的 AI 的功夫——知道它在哪里属于 high-risk，记录它如何决策，让一个人保持可问责，并在监管者或客户发问时随时准备好。这是一份入门导览，而非法律建议：学会风险分级、EU AI Act 的轮廓，以及那些让你站在正确一边的做法。
只讲精髓 · 每个想法一个画面 · 非法律建议
在规则之前，先讲它们为何存在。AI 正在做出影响人们生活的决策，而法律和单纯的责任都在迅速到来——对此视而不见是一种风险，不是一种策略。
AI 如今做出影响重大的决策
一个建议用词的工具，和一个决定谁能拿到贷款的工具，二者天差地别——一旦事关人们的生活，对责任的要求就随之提高。
AI 过去只是自动补全文本；如今它筛选求职者、给信用评分、标记健康状况、审查言论。当 AI 从建议转向 决定 那些实质影响人们的事情，做错的后果就变得严重——你能为它如何运作负责的这一期望，也随之变得严重。治理是一门负责任地打造 AI、并能为之站台的功夫。它之所以在当下要紧，是因为 AI 已经从低风险的辅助，跨入了社会真正在意的决策。
法律正在迅速赶上
当汽车随处可见、撞车有了后果，新的交通法规就会出现——监管会跟着一项技术，进入它可能造成伤害的地方。
各国政府正在认真监管 AI——欧盟的 AI Act 是里程碑，而几十个司法辖区正带着自己的规则跟进。对影响重大的 AI 而言，「快速行动、毫无规则」的时代正在落幕。如果你的产品触及受监管地区的用户，或做出监管者在意的那类决策，合规正在成为一项有真实处罚的真实要求，而非未来的假设。了解这些规则的轮廓，如今已是打造 AI 的一部分，就像了解安全或隐私法律早已如此。
这是入门导览，不是法律建议
一张地形图帮你规划路线，但你过那段危险的渡口时仍要带上向导——概览帮你定向，专家处理细节。
在继续之前先说清楚：本课程是对 AI 治理如何运作的一份 入门导览，不是法律建议。目标是让你对这些概念和风险驾轻就熟，从而知道该留意什么、何时该去寻求真正的专业意见——对一个实打实的 high-risk 系统，你要请来那些以合规为职业的人。理解全局，正是让你默认就负责任地打造、并在某种处境需要专业人士时识别得出来的东西，而不是太晚才发现那些义务。
AI 如今做出影响重大的决策，而法律与责任正迅速赶上。治理就是打造你能站台的 AI——这里是入门导览，不是法律建议，但已不再是可选项。
治理最重要的单个想法，就是并非所有 AI 都被一视同仁。你欠下多少监督，完全取决于这种用途有多大风险——所以头一件事是知道你的级别。
并非所有 AI 都受同等监管
卡丁车和载客客机都是交通工具，但没人用同一套规则去管它们——规则随一次失败可能造成多大伤害而升降。
明智的 AI 监管不会把每种用途都同等对待；它按风险给 AI 分类。一个垃圾邮件过滤器，和一个决定谁能假释的系统，都是 AI，但它们所要求的监督天差地别。EU AI Act 和大多数严肃框架的核心原则，是风险分级：对人们的潜在伤害越高，适用的义务就越多。这是看待一切的视角——治理的大半，就是弄清你的用途落在哪一级，因为这决定了你实际欠下什么。
High-risk 的用途承载着实打实的义务
安全规则最多的活动，正是那些出错时伤人最深的——外科手术、航空、金融。AI 遵循同样的逻辑。
某些用途被归为 high-risk，因为一个错误会实质影响某人的生活：招聘与解雇、信贷与放贷、教育、医疗、执法、获取基本服务。用来做出或在很大程度上左右这些决策的 AI，承载着实打实的义务——文档、human oversight、风险管理，以及向监管者展示它如何运作的能力。如果你的系统触及其中某个领域，在确认之前就先假设它属于 high-risk，因为监管的分量正落在那里。
大多数 AI 风险较低——但要知道是哪些
大多数日常工具都无需特殊许可；只有真正危险的那些才需要——而本事在于上线前分得清哪个是哪个。
让人宽心的一点是，绝大多数 AI 用途 并非 high-risk——一个写作助手、一个推荐功能、一个回答常规问题的聊天机器人，面对的义务要轻得多，往往只是基本的透明度。所以治理并不是压在每个功能上的沉重负担；它在事关重大处分量很重，在无关紧要处则很轻。关键的一步是诚实分类：弄清每种用途真正落在哪一级，而不是想当然地以为自己安全——也不是惊慌地以为一切都受监管。知道你的级别，其余便顺理成章。
并非所有 AI 都受同等监管——义务随风险而升降。High-risk 的用途（招聘、信贷、健康、基本服务）承载着实打实的责任；大多数 AI 则更轻。头一件事是诚实地知道你的级别。
EU AI Act 是里程碑式的 AI 监管，其轮廓正在成为全球参照。你不需要法律条文——你需要它的结构，因为它正是世界上很大一部分在效仿的模板。
它把 AI 分级，每级各有规则
一部建筑规范，彻底禁掉某些结构，对高楼严加检查，对花园里的小棚屋几乎不管——要求随类别而升降。
EU AI Act 按风险给 AI 分类，并据此适用规则。一小撮用途被彻底禁止（操纵性或滥用性的 AI、某些监控）。High-risk 系统在能够部署之前，承载着沉重的义务——文档、监督、风险管理。其余几乎一切，面对的是透明度义务（告诉人们他们在与 AI 打交道）或寥寥无几。了解这一分级的轮廓——顶端是禁止、high-risk 是沉重义务、其余则轻——已是理解这部 Act 的大半。
处罚相当严厉
一笔大到公司无法一笑置之的罚款——那种会让董事会认真对待一条规则的罚款。
这部 Act 真有牙齿：对严重违规的处罚高达数千万欧元，或全球年营业额的一个可观百分比，取两者中较大者。这些不是象征性的罚款；它们的量级足以让合规成为一项真正的业务优先事项，而非事后才想起来的东西。处罚的规模，正是治理从「有了更好」升格为董事会级别关切的原因——对一个触及欧盟的 high-risk 系统，做错的代价大到你会去为合规作打算，而不是拿运气去赌。
它正在成为全球基准
一个大市场里立下的标准，被整个行业采纳，因为打造一款合规的产品，比为每个地区各做一款不同的要容易。
正如此前欧盟在数据隐私上的规则，AI Act 正在塑造远及欧洲之外的实践——「Brussels effect」，即一个主要市场的监管，因为公司们按最严格的规则去打造、而非维护许多个版本，而成为事实上的全球标准。而许多其他司法辖区，也正以类似的基于风险的轮廓拟定自己的 AI 规则。所以即便你不在欧盟，这部 Act 的结构也是一份很好的指引，指向 AI 监管大体的走向：按风险分级，对 high-risk 用途最重，并以透明度为底线。
EU AI Act 按风险给 AI 分级：少数用途被禁止，high-risk 的承载着沉重义务，大多数只面对透明度。处罚相当严厉，而它的分级轮廓正在成为全球基准。
大多数 high-risk 义务归结为一个务实的要求：能够展示你的系统如何运作、以及它做了什么。这就是文档与日志——而内建进去远比事后加装便宜。
展示系统如何决策
一份写下来的菜谱，任何人都能看清这道菜究竟怎么做——而不是一个耸耸肩、说「反正就这么对了」的厨师。
一项核心的治理义务是文档：能够解释你的 AI 系统如何运作——它用了什么数据、它如何做决策、它的局限与风险是什么。监管者（以及客户）越来越期望你展示这些，而不只是断言系统没问题。一个连其制造者都视若黑箱的 high-risk 系统，正是规则瞄准的对象。所以你在打造的同时就把它如何运作写下来，把「相信我们」变成「这是有据可查的说明」——而这正是能为一个系统站台所真正需要的。
记录它实际做了什么
一台飞行记录器捕捉每一个动作，让事故之后有一份精确的记录可供查验——而不是对发生了什么的猜测。
在记录系统如何运作之外，你还要保留一份 audit trail——一份它实际做了什么的日志：它做出的决策、输入、输出、谁参与其中。当出了岔子，或监管者、受影响的人发问时，audit trail 就是一个可问责的回答与一记耸肩之间的差别。这与可观测性是同一套日志功夫，在此服务于问责：一个做出影响重大决策的 AI，需要一份这些决策的记录，既为合规，也为真正理解并改进系统。
把它内建进去；事后加装是痛苦的
建楼时一边施工一边为验收布线是寻常事；事后凿开完工的墙去加线，则是一场噩梦。
务实的教训：从一开始就把治理内建进去，因为事后加装要难得多、贵得多。给一个设计时未曾考虑文档与审计日志的系统补上它们，意味着事后重建它如何运作、再迟迟为其埋点——慢、易错，有时根本做不到。那些把「我将如何展示它如何运作、以及它做了什么」与功能本身一同当作设计要求来对待的团队，已经把大半合规工作做完了。内建治理最便宜的时机，是在你需要它之前，而不是在监管者的截止日期之下。
High-risk 义务大多归结为：展示系统如何决策（文档），以及记录它做了什么（audit trail）。从一开始就把两者都内建进去——事后加装问责是痛苦的，有时根本做不到。
自主的 AI 抛出了一个法律仍在求解的棘手问题：当一个 AI 自行行动并造成伤害，谁来负责？你不能让那份含糊变成你的挡箭牌。
AI 出错时，谁来负责？
一辆自动驾驶的送货小车撞了人——是制造者、运营者，还是派它出门的人？人人都指向别人。
当 AI agent 自行采取行动——预订、购买、决定、发送——一道真切的问责缺口就此裂开：当一个自主系统造成伤害，谁来担责并不总是清楚，是模型的开发者、部署它的公司，还是放它出笼的用户。法律正在积极厘清这一点，而它尚未尘埃落定。对身为打造者的你，那份含糊本身就是一种风险——「谁来负责？」是一个你想在自己的产品内部先答好的问题，免得它在一场纠纷里被替你答上。
留一个人保持可问责
即便开了自动驾驶，飞行员仍要为这趟飞行负责——自动化是辅助，但仍有一个有名有姓的人为结果作答。
那条经得起时间的原则，体现在 high-risk 规则对 human oversight 的要求里，就是：对影响重大的 AI 决策，留一个人保持可问责。AI 可以辅助、建议、甚至行动——但仍有一个人或一个组织为结果作答，并有能力监督和介入。这是产品设计中 human-in-the-loop 想法的治理面相：让一个人切实地掌舵，不只是更安全，更是当那个自主系统做错了什么时，问责仍有处可落的方式。
「是 AI 干的」不是辩护
你不能拿「我选择去用的那个工具」来给一个糟糕的结果开脱——用好它的责任，仍在你这里。
要避免的错误，是把 AI 当成卸下责任的途径。当一个自主系统造成伤害，「是 AI 做的决定」不会是一个可接受的回答——问责流向打造并部署它的人和组织，无论这项技术让人多么容易移开目光。所以你要为此而设计：在你的产品内部，明确人类对 AI 所作所为的责任落在何处，别去搭一个人人都能振振有词说「这不是我拍的板」的系统。为你的 AI 所产生的结果负起责任。
自主的 AI 裂开了一道法律仍在求解的问责缺口。留一个人切实地可问责、并能够介入——因为当一个 agent 造成伤害，「是 AI 干的」不会是一种辩护。
在法律义务之外，还坐着一套更宽广的负责任地打造 AI 的实践——其中大半既是合规，也是让一款产品成功的那份信任。
告诉人们他们在与 AI 打交道
一个写着「自动回复」的标签，免得有人误以为是真人处理的——对他们正在与之互动的对象保持诚实。
各类监管之下的一个底线期望是透明度：人们有权知道自己在与 AI 而非真人互动，以及内容是否由 AI 生成。披露某个功能由 AI 驱动，不只是一项合规打勾；它是产品设计课里那份让用户保持校准的诚实表述。隐瞒某物是 AI、或把 AI 的产出冒充成人类的，会侵蚀信任，并且越来越属于违法。透明度正是好的产品设计与好的治理指向完全同一方向之处。
留意偏见与不公
一套招聘流程悄悄偏向某一群体而非另一群，不是出于设计，而是出于承袭来的模式——即便无人有意，伤害依然真切。
负责任的 AI 的一个核心关切，是偏见与公平：模型从带着社会既有偏见的数据中学习，所以一个 AI 可能产生不公的结果——在招聘、放贷，或任何影响人们的事情上——而无人有意如此。对 high-risk 的用途，这既是伦理问题，也是法律问题，并且它不会自行修好。所以你必须主动核查：测试系统是否公平对待不同群体，留意带有歧视的模式，并把公平当成你去衡量和管理的东西，而非想当然的假设。不加审视，一个模型会悄悄自动化出你绝不会去选择的那种不公。
在决策事关重大处具备可解释性
一位能告诉你为何被拒的信贷专员，对比一台只会说「不」的机器——能够解释，是公平对待人们的一部分。
对影响重大的决策，可解释性很要紧：能够为一个结果给出有意义的理由，而不只是一纸不透明的裁决。一个被 AI 决策影响的人——被拒了贷款、被刷掉了工作——越来越有权得到一个解释，而提供这个解释既公平，也往往是被要求的。这与文档和 human oversight 的主题相连：一个你了解到足以解释的系统，是一个你能站台的系统，也是一个你能向它所影响的人证明其决策正当的系统。事关重大的决策，理应附带理由。
负责任的 AI 与合规相互重叠：告诉人们他们在与 AI 打交道，主动核查偏见与不公，并能够解释影响重大的决策。好的治理与好的产品设计指向同一方向。
做得好的治理不是末尾才拴上的官僚负担——它是从一开始就内建的几个习惯，让你能上线你能真正站台的、影响重大的 AI。
知道你的级别，再据此打造
你不会给花园的栅栏门和银行的金库装同样的锁——你评估自己在保护什么，再打造相称的安保，不多也不少。
整套实践始于诚实地给你的用途分类：它属于 high-risk，还是更轻？大多数功能风险较低，只需基本的透明度；high-risk 的那些则配得上文档、监督与审慎的全部分量。让你的治理投入与你实际的级别相称——别让一个低风险功能淹没在合规的表演里，也别把一个 high-risk 的当作无关紧要那样上线。知道你的级别，就把治理从一团模糊的恐惧，变成一组清晰、相称、可以去做的事。
把治理内建进去，遇到 high-risk 就寻求帮助
你画图纸时就把楼设计得合规，并为那些真正承重的部分请来持证工程师——日常照看自己来，要紧之处交给专家。
从一开始就把基本功内建进去——透明度、文档、审计日志、一个可问责的人、公平核查——因为它们作为设计选择远比事后加装便宜，并且无论法律如何，它们都是好的工程。而对真正 high-risk 的系统，去寻求真正的专业意见：本课程为你定向，但一个事关重大的用途的实际合规，需要以此为职业的人。成熟的姿态，是让负责任的默认成为常规，并诚实地认出何时一种用途影响重大到该请专家进场。
- 风险级别是什么——是因为它塑造生活而属于 high-risk，还是更轻？ - 是否 透明——人们知道他们在与 AI 打交道吗？ - 你能否记录 它如何运作，并且 有没有它做了什么的 audit trail？ - 是否有一个人可问责、并能够监督和 介入？ - 你是否核查过偏见、并能解释影响重大的决策？ - 对于 high-risk，你是否在寻求真正的专业意见，而非依赖一份概览？
- 治理——负责任地打造 AI、并能为之站台。 - 风险分级 / high-risk——义务随潜在伤害而升降；high-risk 的用途承载得最多。 - EU AI Act——那部里程碑式的、分级的、正在成为全球基准的监管。 - 文档 / audit trail——展示它如何决策，并记录它做了什么。 - 问责缺口 / human oversight——谁为自主的 AI 负责，以及留一个人掌舵。 - 透明度——披露某物是 AI。 - 偏见 / 公平 / 可解释性——围绕影响重大决策的 负责任的 AI 关切。
- 你 知道你的风险级别，并让治理投入与之相称。 - 你 透明地 表明它是 AI，并 记录 它如何运作。 - 你为影响重大的决策保留一份 audit trail 和一个 可问责 的人。 - 你 核查偏见，并能 解释 那些事关重大的决策。 - 你 从一开始就 内建治理，并在它属于 high-risk 时请来 真正的 专业意见。
AI 治理就是打造你能负责的 AI：知道你的风险级别、保持透明、记录它如何决策、留一个人可问责，并核查公平——从一开始就内建，并在它属于 high-risk 之处请来真正的专业意见。