# 打造你能负责的 AI 关于 AI 治理与监管的速成课。19 个概念——Risk-based approach、High-risk AI、EU AI Act、布鲁塞尔效应、Audit trail、Human oversight、问责缺口、Transparency、Bias & fairness、Explainability 等——每个都有英文名称、一张图解和一张卡片：是什么 → 例子 → 陷阱 → 关联。结尾附一页速查表。非法律建议。 - **Author:** Fedor Chishchin - **Level:** intermediate - **Reading time:** ~30 分钟阅读 - **Published:** 2026-06-13 - **Source:** https://fedorthinks.com/zh/learn/ai-governance-express --- ## 1. 为什么现在就要治理 首先，为什么会有这些规则。AI 在做出影响人们生活的决策，法律和基本的责任感都在快速逼近。无视它是风险，不是策略。 ### AI Governance — 这门学问 > 即使开着自动驾驶，飞行员依然要为这趟飞行负责。AI 治理对软件来说是同一个道理：系统提供帮助，但总有人能为它负责。 **AI 治理**是负责任地打造 AI、并能为它站台的一门学问。落到实践上，就是四个习惯：**知道你的风险等级**、**记录并留痕**、**让一个人保持可问责**、**保持透明**。这门课几乎所有内容都是在展开这四点。 _Diagram: 治理就是围绕你的系统的四根支柱：风险、文档与日志、负责的人、透明度。_ #### AI Governance (治理 AI) - **是什么:** 负责任地打造 AI 并能为它站台的学问。 - **运作方式:** 知道你的风险等级 → 记录并留痕 → 指定一个负责的人 → 坦率说明这是 AI。 - **例子:** 在上线信用评分之前，团队要回答：它属于哪一级，它如何决策记录在哪里，决策日志在哪里，谁能推翻一个决定。 - **陷阱:** 它不是最后才补上的文书工作，而主要是并不光鲜的工程活：日志、文档、监督。 - **关联:** 涵盖本课其他所有概念的总伞。 ### Consequential AI — 会做决定的 AI > 建议一个词的工具，和决定谁能拿到贷款的工具，是两回事。一旦风险触及人们的生活，责任的门槛就会抬高。 过去 AI 只是自动补全文字。现在它会**筛选求职者、给信用打分、标记医疗状况、审核言论**。当 AI 从*建议*走向*决定*那些真正影响人的事情，出错的代价就会上升，人们期待你能说清它如何运作的预期也随之上升。这就是治理现在重要的原因。 _Diagram: 左边 AI 只是建议；右边它替人做决定。越往右，门槛越高。_ #### Consequential AI (影响重大决策的 AI) - **是什么:** 做出或在很大程度上左右针对人的决策的 AI。 - **例子:** 自动补全是建议。筛选简历或信用评分，则是对某人生活的决定。 - **陷阱:** 这条界线很容易被忽略：功能"只是推荐"，但人们盲目照着推荐去做。 - **关联:** 这类系统通常落入 **High-risk AI**；它们正是 **EU AI Act** 的目标。 ### 法律正在迅速跟上 > 当汽车遍地跑、事故会带来后果时，新的交通法规就会出现。监管会跟着技术，走到它可能造成伤害的地方。 各国政府正在认真监管 AI：**EU AI Act** 是里程碑，数十个司法辖区正在以各自的规则跟进。对影响重大的 AI 来说，"快速行动、没有规则"的时代正在结束。如果你的产品触达受监管地区的用户，或做出监管者在意的决策，合规就是有实打实处罚的硬要求。了解这些规则的轮廓，如今和了解安全与隐私法规一样，是工作的一部分。 ### 这是入门导览，不是法律建议 > 地图能帮你规划路线，但过危险地段时，你仍然需要带一位向导。 这门课是对 AI 治理如何运作的*入门导览*，不是法律建议。目标是让你熟悉这些概念和风险，知道该留意什么，以及**何时去找真正的专家**。对于真正的高风险系统，要请以合规为业的人参与，而且越早了解义务越好，晚了就麻烦了。 ### 地图：六组共 19 个概念 > 一张地铁图：先看到整条线路，再一站一站地坐过去。 这些概念分为六组：**为什么**要治理、**风险等级**、**EU AI Act**、**举证**（文档与日志）、**问责**，以及**负责任的 AI**。最后一章把这一切变成实践。之后每个概念都得到同样的对待：英文名称、一幅画面、一张图解和一张卡片——是什么 → 例子 → 陷阱 → 关联。 _Diagram: 六组概念：第 1–6 章依次展开；第 7 章把它们变成实践。_ > **起点问题:** "我的 AI 是否在做实质影响人的决策？如果是，治理就不是可选项，而'还没人拦我'也算不上计划。" > AI 如今做出影响重大的决策，法律和责任正在迅速跟上。治理就是打造你能站得住脚的 AI。这里只是入门导览，不是法律建议，但它已不再是可选项。 ## 2. 风险等级 治理的核心思想：并非所有 AI 都被同等对待。你要承担多少监督，取决于这种用法有多危险。所以第一件事就是弄清你的等级。 ### Risk-based Approach — 义务随风险增长 > 卡丁车和客机都是交通工具，但没人会对它们一视同仁地监管。规则随失误可能造成的伤害而增强。 合理的监管按**风险**给 AI 分类。垃圾邮件过滤器和决定谁能获得假释的系统都是 AI，但它们需要的监督天差地别。这就是**风险分级**：对人的潜在伤害越大，适用的义务越多。它处于 EU AI Act 和大多数严肃框架的核心。治理的大部分工作，就是弄清你的用法落在哪一级，因为这决定了你究竟要承担什么。 _Diagram: 潜在伤害越大，义务清单越长。_ #### Risk-based Approach (风险分级) - **是什么:** 义务随对人的潜在伤害而增长。 - **例子:** 垃圾邮件过滤器——几乎没有义务。假释决定——要文档、监督、风险管理。 - **陷阱:** 等级由_用途_决定，而不是技术：同一个模型，用在聊天机器人里可能低风险，用在招聘里就是高风险。 - **关联:** **EU AI Act** 的基础；把世界分成 **High-risk AI** 和 **Lower-risk AI**。 ### High-risk AI — 左右人生的用途 > 安全规则最多的活动，正是出错最伤人的那些：外科手术、航空、金融。AI 遵循同样的逻辑。 某些用途被归为**高风险**，因为一次失误就会实质性地影响某人的生活：**招聘与解雇、信贷与贷款、教育、医疗、执法、获取基本服务**。做出或大幅左右这些决策的 AI，要承担实打实的义务——文档、人工监督、风险管理，以及向监管者说明它如何运作的能力。如果你的系统涉及这些领域，在确认不是之前，就先当它是高风险。 _Diagram: AI 左右人们生活的六个领域。落在这里，就要承担全套义务。_ #### High-risk AI (高风险用途) - **是什么:** 出错会实质性影响一个人的生活、权利或获取机会的 AI。 - **例子:** 筛选简历的模型，或决定谁能拿到贷款的评分。 - **陷阱:** 监管的重心就落在这里——"以后再说"行不通。 - **何时适用:** 你涉及招聘、信贷、教育、医疗、执法或基本服务——就当它适用。 - **关联:** 需要 **Documentation**、**Audit trail**、**Human oversight**、**Explainability**。 ### Lower-risk AI — 大多数 AI 属于此类，但要知道是哪些 > 大多数日常工具不需要特别许可，只有真正危险的才需要。本事在于上线前分清哪个是哪个。 令人安心的是：大多数 AI 用途**不是**高风险。写作助手、推荐功能、回答常规问题的聊天机器人，面临的义务要轻得多，往往只是**基本的透明度**。治理在风险高的地方重，在风险低的地方轻。关键的一步是**诚实归类**：别想当然觉得自己安全，也别恐慌地认为所有东西都被监管。 _Diagram: 一个问题就能分开用途：这会左右某人的生活吗？大多数 AI 走'否'的分支。_ #### Lower-risk AI (有限 / 最小风险) - **是什么:** 出错不会实质性改变一个人生活的 AI；义务主要是透明度。 - **例子:** 写作助手、商品推荐、FAQ 机器人。 - **陷阱:** 这是诚实检查之后的结论，而不是假设。"我们只是个聊天机器人"——直到这个机器人开始替人做决定。 - **关联:** **High-risk AI** 的反面；基线是 **Transparency**。 > **等级问题:** "这个用途究竟落在哪一级——因为左右某人的生活而属于高风险，还是更低？这决定了我要承担多少治理。" > 并非所有 AI 受到同等监管——义务随风险增长。高风险用途（招聘、信贷、医疗、基本服务）有实打实的义务；大多数 AI 则轻得多。第一件事是诚实地弄清你的等级。 ## 3. EU AI Act 简述 EU AI Act 是里程碑式的 AI 监管，它的形态正在成为全球参照。你不需要读法律原文——你需要的是它的结构，因为世界上大多数地方都在效仿它。 ### EU AI Act — 四个层级，每层有各自的规则 > 一部建筑法规：有些建筑直接禁止，对高楼要检查到每一颗螺栓，对花园小棚则几乎不管。 **EU AI Act** 按风险给 AI 分类，并按层级适用规则。一小部分用途被直接**禁止**。**高风险**系统在部署前要承担沉重的义务——文档、监督、风险管理。其余大多数面临的是**透明度**义务——告诉人们他们在和 AI 打交道——或几乎没有义务。记住这座金字塔，你就理解了这部法案的大半。 _Diagram: EU AI Act 金字塔：顶部是禁令，其下是沉重义务，再下是透明度，底部几乎没有要求。_ #### EU AI Act (欧盟的 AI 监管) - **是什么:** 把 AI 分入风险层级并为每层设定规则的欧盟法规。 - **运作方式:** 禁止 → 直接禁用。高风险 → 部署前履行义务。透明度 → 披露这是 AI。最小风险 → 几乎没有要求。 - **例子:** 面向欧盟客户的信用评分是高风险；客服聊天机器人主要是透明度。 - **陷阱:** 只要你的产品触达欧盟用户就适用——即使你的公司不在欧洲。 - **关联:** **Risk-based approach** 的立法化；通过 **Brussels effect** 扩散。 ### Prohibited Practices — 直接禁止 > 有些事无论你提交多少材料，都拿不到许可。 金字塔顶端是**被禁止的做法**：操纵性或滥用性的 AI，以及某些类型的监控。这里没有合规路径——再多文档也无法让它们合法。你就是不去做。 _Diagram: 被禁止的做法在任何条件下都过不了关——通往欧盟市场的路根本不存在。_ #### Prohibited Practices (不可接受的风险) - **是什么:** 被直接禁止的 AI 用途。 - **例子:** 操纵性或滥用性的 AI、某些类型的监控。 - **陷阱:** 这里没有什么可以"调优"——唯一正确的答案是不做。 - **关联:** **EU AI Act** 金字塔的最高一层。 ### Penalties — 罚款很严厉 > 一笔大到公司无法一笑置之的罚款——足以让董事会认真对待这条规则。 这部法案是有牙齿的：**严重违规的罚款可达数千万欧元，或全球年营业额的相当比例，以较高者为准**。这不是象征性的罚款——它的量级足以让合规成为真正的业务优先事项。这正是 AI 治理从"最好有"变成董事会级关切的原因。 _Diagram: 罚款取两个数字中较大的那个，所以对创业公司和巨头都一样疼。_ #### Penalties (EU AI Act 罚款) - **是什么:** 最高数千万欧元或全球营业额一定比例的罚款——以较高者为准。 - **例子:** 一个服务欧盟用户的高风险系统，如果没有所需的文档和监督，就是直接走向罚款的路。 - **陷阱:** 拿合规去赌，比提前规划花得更多。 - **关联:** 让 **Governance by design** 不只是正确，而且划算。 ### Brussels Effect — 全球基准 > 在一个大市场定下的标准，整个行业都会采用，因为做一个合规的产品比为每个地区各做一个更容易。 和欧盟早先的数据隐私规则一样，AI Act 对实践的塑造远超欧洲。这就是**布鲁塞尔效应**：一个大市场的监管成为事实上的全球标准，因为企业按最严格的规则来做，而不是维护许多个版本。许多其他司法辖区也正在以类似的风险分级形态制定自己的 AI 规则。所以即使在欧盟之外，这部法案的结构也是判断 AI 监管走向的好向导。 _Diagram: 一个产品按最严格的市场来做——同一个产品卖给各地的用户。_ #### Brussels Effect (监管外溢) - **是什么:** 一个大市场的规则成为世界标准，因为这样更便宜。 - **例子:** 欧盟的数据隐私规则改变了全球的产品；AI Act 正在做同样的事。 - **陷阱:** "我们不在欧盟"是个站不住脚的理由——规则的形态终究会到来。 - **关联:** 把 **EU AI Act** 和 **Risk-based approach** 带向全世界。 > **法案问题:** "我的系统在 EU AI Act 金字塔里会落在哪里——禁止、高风险，还是仅需透明度？我是否把这个结构当作很可能的全球走向？" > EU AI Act 按风险给 AI 分层：少数用途被禁止，高风险用途承担沉重义务，大多数只需透明度。罚款很严厉，它的分层形态正在成为全球基准。 ## 4. 文档与 audit trail 大多数高风险义务归结为一个实际要求：能够展示你的系统如何运作、做了什么。这就是文档和日志——而且从一开始就内建，比事后补上便宜得多。 ### Technical Documentation — 展示它如何决策 > 一份写下来的食谱，任何人都能看清这道菜究竟怎么做——而不是一个耸耸肩说"反正就是做出来了"的厨师。 一项关键义务是**文档**：能够解释你的 AI 系统如何运作——**它用什么数据、如何做决策、有哪些局限和风险**。监管者和客户越来越期待你*展示*这些，而不只是声称系统没问题。一个连开发者自己都看不透的高风险黑箱，正是这些规则所针对的。你在构建的同时把它写下来，把"相信我们"变成"这是记录"。 _Diagram: 代替'相信我们'——一份回答四个问题的文档：数据、决策逻辑、局限、风险。_ #### Technical Documentation (系统文档) - **是什么:** 对系统的数据、决策逻辑、局限和风险的书面说明。 - **例子:** 对一个简历筛选模型：它用哪些简历训练、用哪些信号、在哪里会失误、是如何测试的。 - **陷阱:** 上线后凭记忆去写，既慢又不准确。 - **关联:** 与 **Audit trail**（"如何决策" + "做了什么"）搭档；是 **Explainability** 的基础。 ### Audit Trail — 记录它实际做了什么 > 一个记录每个动作的飞行记录仪，事故之后有精确的记录可供研究，而不是靠猜。 除了文档，你还要保留一份 **audit trail**——系统*实际做了什么*的日志：**它做出的决策、输入、输出、有谁参与**。出了问题时，或当监管者、受影响的人问"为什么"时，audit trail 就是一个负责任的回答与耸肩之间的差别。它和可观测性是同一套日志纪律，只不过这里服务于问责。 _Diagram: '我为什么被拒绝？'变成一次日志查询和一个确切的答案。_ #### Audit Trail (决策日志) - **是什么:** AI 决策的日志：输入、输出、时间、哪些人参与了。 - **例子:** "09:31，简历 #4814，被拒，审核人推翻"——给候选人的答复就备好了。 - **陷阱:** 没有日志，你只能事后重建、靠猜，而不是回答。 - **关联:** **可观测性**的兄弟；有助于弥合**问责缺口**并改进系统。 ### Governance by Design — 内建，而不是事后补装 > 盖楼时按规范布线是常规操作；等墙都砌好了再撬开去补线，则是一场噩梦。 实际的教训就是 **governance by design**：从一开始就内建治理。给一个设计时没考虑文档和审计日志的系统补上它们，意味着事后重建它如何运作——缓慢、易错，有时根本不可能。把"我如何展示这个系统如何运作、做了什么"当作和功能本身并列的设计需求，这样的团队几乎白拿了大部分合规工作。 _Diagram: 从第一天就内建，便宜又常规；事后补装，代价高昂，有时甚至不可能。_ #### Governance by Design (从第一天做起的治理) - **是什么:** 日志、文档和监督是设计需求，而不是项目末尾的附加项。 - **例子:** 数据库 schema 从第一天就有模型决策表；PR 模板里有"更新系统说明"。 - **陷阱:** 内建治理最便宜的时间，是在你需要它之前，而不是在监管者的最后期限下。 - **关联:** 你几乎白得 **Documentation** 和 **Audit trail** 的方式。 > **文档问题:** "如果监管者或受影响的用户问我，这个系统如何运作、在某个具体案例中做了什么，我能拿出来给他们看吗——还是只能重建和猜测？" > 高风险义务大多归结为两件事：展示系统如何决策（文档）和记录它做了什么（audit trail）。从一开始就把两者内建——事后补上问责既痛苦，有时还不可能。 ## 5. 问责缺口 自主 AI 提出了一个法律仍在厘清的难题：当 AI 自行行动并造成伤害，谁来负责？别让这种模糊成为你的辩护理由。 ### Accountability Gap — 谁为伤害负责？ > 一辆自动配送小车撞到了人。是制造商、运营方，还是派它出去的人？每一方都指向别人。 AI 智能体会自行行动——预订、购买、决策、发送。这就打开了一个**问责缺口**：当自主系统造成伤害时，谁来负责并不总是清楚——是**模型开发者、部署它的公司，还是放手让它运行的用户**。法律正在积极厘清这件事，尚无定论。对身为构建者的你来说，这种模糊本身就是风险。你希望"谁负责？"的答案就在你的产品之内，而不是在纠纷中由别人替你给出。 _Diagram: 一个智能体造成了伤害——三方面面相觑。这就是问责缺口。_ #### Accountability Gap (责任缺口) - **是什么:** 自主 AI 造成伤害时，究竟谁负责的模糊地带。 - **例子:** 一个智能体买错了东西，把钱汇给了错误的一方——开发者、公司和用户互相指责。 - **陷阱:** 法律还没有定论——所以你得在自己的产品里先做出决定。 - **关联:** 由 **Human oversight** 和 **Audit trail** 来弥合。 ### Human Oversight — 人始终保持可问责 > 即使开着自动驾驶，飞行员依然要为这趟飞行负责：自动化提供帮助，但由一个有名有姓的人为结果负责。 一条写进高风险系统规则的长期原则是**人工监督**：由人对影响重大的 AI 决策保持可问责。AI 可以协助、推荐，甚至行动，但**某个人或组织仍要为结果负责**，并能**监督和介入**。这是产品设计中 **human-in-the-loop** 的治理面向：让人真正掌控不只是更安全——它让系统出错时，责任仍有处可落。 _Diagram: AI 提出方案，人审核并能叫停，决定有一个有名有姓的负责人。_ #### Human Oversight (human-in-the-loop) - **是什么:** 一个有名有姓的人为 AI 的决策负责，并能出手介入。 - **例子:** 模型建议拒绝一份贷款申请；一位审批员看到理由，并能推翻它。 - **陷阱:** 监督必须是_实质性_的：对什么都点"确定"的人不算监督。 - **关联:** 弥合**问责缺口**；**High-risk AI** 的必备项。 ### Blame Offloading — '是 AI 干的'不是辩护理由 > 你不能把糟糕的结果归咎于你自己选用的工具。用好它的责任仍在你身上。 要避免的错误是 **blame offloading**——把 AI 当成卸责的手段。当自主系统造成伤害时，"是 AI 做的决定"不会是可接受的回答：责任会流向**构建并部署**它的人和组织，不管技术让你多容易把目光移开。所以要为此做设计：在你的产品里明确人的责任在哪里，别搭建一个人人都能振振有词地说"这不是我拍板的"的系统。 _Diagram: '是 AI 干的'行不通：责任依然会落到构建并部署它的人身上。_ #### Blame Offloading ('是 AI 干的') - **是什么:** 试图把伤害的责任推给 AI 本身。 - **例子:** 一次错误拒绝之后，公司说"是算法决定的"——这并不能让它卸下责任。 - **如何避免:** 为产品中每个影响重大的 AI 决策指定明确的负责人。 - **关联:** **Human oversight** 的反模式；**问责缺口**的症状。 > **问责问题:** "当我的自主 AI 做错事时，是否清楚谁负责、谁本可以介入——还是我搭了一个'是 AI 干的'成为唯一答案的系统？" > 自主 AI 打开了一个法律仍在厘清的问责缺口。让一个人实质性地保持可问责并能介入——因为当智能体造成伤害时，"是 AI 干的"不会是辩护理由。 ## 6. 透明度与负责任的 AI 在法律义务之外，还有一套更广泛的负责任地构建 AI 的实践——其中很多既是合规，也是让产品成功的信任。 ### Transparency — 告诉人们这是 AI > 一块写着"自动回复"的标签，这样没有人会被误导，以为是真人处理的。对他们在打交道的对象保持诚实。 各类法规的一个基本期待是**透明度**：人们有权知道**自己何时是在与 AI 而非真人互动**，以及**内容何时由 AI 生成**。披露某个功能是 AI，不只是打个合规的勾——它是产品设计中让用户保持清醒预期的诚实表述。隐瞒某物是 AI，或把 AI 的输出冒充成人的，会侵蚀信任，而且越来越多地违法。在这里，好的产品设计和好的治理指向同一个方向。 _Diagram: 界面中的透明度：一个'AI 助手'徽标，和生成内容上的标签。_ #### Transparency (AI 披露) - **是什么:** 披露人们正在与 AI 对话，以及内容由 AI 生成。 - **例子:** 标有"AI 助手"徽标的客服聊天；标注"AI 生成"的订单摘要。 - **陷阱:** 把 AI 冒充成真人会破坏信任——而且越来越违法。 - **关联:** **Lower-risk AI** 的基线；**High-risk AI** 整套要求的一部分。 ### Bias & Fairness — 警惕不公平 > 一个悄悄偏向某一群体的招聘流程——并非有意设计，而是源于继承来的模式。即使没人有此意图，伤害也是真实的。 **负责任的 AI** 的一个核心关切是**偏见与公平**。模型从带有社会既有偏见的数据中学习，所以 AI 可能在无人有意为之的情况下产生不公平的结果——在招聘、贷款，以及任何影响人的场景。对高风险用途来说，这既是伦理问题也是法律问题，而且不会自行消失。你必须**主动检查**：系统对不同群体是否公平，有没有歧视性的模式？公平是需要度量和管理的，而不是想当然。 _Diagram: 数据里的旧偏见穿过模型，变成对不同群体的不同结果。_ #### Bias & Fairness (算法偏见) - **是什么:** AI 因继承了数据中的偏见，而对不同人群不公平对待的风险。 - **例子:** 一个用过往录用记录训练的招聘模型，通过某一群体的比例明显高于另一群体。 - **如何检查:** 比较各群体的结果，寻找歧视性模式，并定期重复。 - **陷阱:** 不加审视，模型就会悄悄把你绝不会选择的不公平自动化。 - **关联:** **负责任的 AI** 的一部分；**High-risk AI** 的必修课。 ### Explainability — 在决策重要之处给出理由 > 一位能告诉你为什么拒绝你的信贷员，对比一台只会说"不"的机器。 对影响重大的决策来说，**可解释性**很重要：能为一个结果给出有意义的理由，而不是一个不透明的裁决。被 AI 决策影响的人——被拒贷、被筛出职位——越来越多地拥有**获得解释的权利**。给出解释既公平，也往往是必须的。它与文档和监督相呼应：一个你理解到能解释的系统，才是你能向受影响的人辩护的系统。 _Diagram: 同一份申请：黑箱说'不'，可解释的系统说'不，因为……'。_ #### Explainability (获得解释的权利) - **是什么:** 能为一个具体的 AI 决策给出易懂理由的能力。 - **例子:** "被拒：收入低于门槛，信用记录较短。" - **陷阱:** 如果你无法解释一个决策，你也无法为它辩护。 - **关联:** 建立在 **Documentation** 之上；让 **Human oversight** 有可操作的依据。 > **负责任问题:** "我是否对这是 AI 保持透明、主动检查它有无偏见、并能解释它影响重大的决策——还是只是希望这些都不会变成问题？" > 负责任的 AI 与合规相互重叠：告诉人们他们在和 AI 打交道，主动检查偏见和不公平，并能解释影响重大的决策。好的治理和好的产品设计指向同一个方向。 ## 7. 用好它 做得好的治理不是最后才补上的官僚程序。它是从一开始就养成的几个习惯，让你能交付真正站得住脚的、影响重大的 AI。 ### Proportionate Governance — 认清你的等级，按需构建 > 你不会给花园的门装和银行金库一样的锁。你先评估要保护什么，再配上相称的安保——不多也不少。 整套实践始于诚实的归类：这个用途是高风险还是更轻？大多数功能风险较低，只需基本的透明度。高风险的则要上全套——文档、audit trail、监督、公平性检查。这就是**相称的治理**：别用合规作秀淹没一个小功能，也别把高风险的功能当作不是来上线。而对真正高风险的系统，要**请来真正的专业人士**：这门课帮你入门，但真正的合规由专业人员来做。 _Diagram: 左边——普通功能的轻量套件；右边——高风险的全套方案，专家也在其中。_ #### Proportionate Governance (量体裁衣的治理) - **是什么:** 治理投入与真实的风险等级相匹配。 - **例子:** FAQ 机器人：一个"AI"标签加合理的日志。信用评分：全套方案外加合规律师。 - **陷阱:** 两种失败方式：在小事上作秀，在高风险上马虎。 - **关联:** 把 **Risk-based approach** 应用到你的产品；把本课所有实践串联起来。 ### 一切如何关联 > 一幅拼图：每一块单独看意义不大；拼在一起才成画面。 这些概念构成一个整体。**EU AI Act** 采用 **risk-based approach**，把 AI 分为**高风险**和**低风险**。高风险会带来**文档、audit trail、人工监督、可解释性和偏见检查**。audit trail 和监督**弥合问责缺口**。而 **governance by design** 是让这一切变得便宜的办法——从第一天就内建。 _Diagram: 法律按风险给 AI 分层；高风险带来五项义务；其中两项弥合问责缺口。_ #### 上线影响重大的 AI 之前 - **哪一级风险**——因左右人生而属于高风险，还是更轻？ - **是否透明**——人们知道自己在与 AI 打交道吗？ - **你能否说明**它如何运作，并有一份记录它做了什么的 **audit trail**？ - **是否有人负责**，并能监督和介入？ - **是否检查过偏见**，并能解释影响重大的决策？ - **对于高风险，是否请来了真正的专家**，而不是只靠一份概览？ #### 你治理得好的迹象 - 你**知道自己的风险等级**，并让投入与之匹配。 - 你对这是 AI 保持**透明**，并**记录**它如何运作。 - 你保留 **audit trail**，并让**一个人对**影响重大的决策**负责**。 - 你**检查偏见**，并能**解释**重要的决策。 - 你**从一开始**就内建治理，并在高风险时请来**专家**。 ## 速查表：全部 19 个概念 ### 为什么要治理 - **AI Governance** (治理 AI): 负责任地打造 AI，并能为它站台。 - **Consequential AI** (会做决定的 AI): 对人们生活做决定的 AI——门槛抬高的原因。 ### 风险等级 - **Risk-based Approach** (风险分级): 义务随潜在伤害而增长。 - **High-risk AI** (高风险用途): 招聘、信贷、教育、医疗、执法、基本服务——全套要求。 - **Lower-risk AI** (有限 / 最小风险): 大多数 AI；主要需要透明度。是诚实检查之后的结论。 ### EU AI Act - **EU AI Act** (欧盟的 AI 监管): 金字塔：禁止 → 高风险 → 透明度 → 几乎没有要求。 - **Prohibited Practices** (不可接受的风险): 操纵性或滥用性的 AI、某些监控——不要去做。 - **Penalties** (罚款): 数千万欧元或全球营业额的一定比例——以较高者为准。 - **Brussels Effect** (监管外溢): 一个大市场的规则成为世界标准。 ### 举证 - **Technical Documentation** (系统文档): 数据、决策逻辑、局限和风险——写下来。 - **Audit Trail** (决策日志): 系统实际做了什么的日志。 - **Governance by Design** (从第一天做起): 尽早内建——事后补装代价高昂，有时不可能。 ### 问责 - **Accountability Gap** (责任缺口): 自主 AI 造成的伤害，谁来负责并不清楚。 - **Human Oversight** (human-in-the-loop): 一个有名有姓的人负责，并能介入。 - **Blame Offloading** ('是 AI 干的'): 反模式：你不能把责任推给工具。 ### 负责任的 AI - **Transparency** (AI 披露): 说明这是 AI，并给 AI 生成的内容加标签。 - **Bias & Fairness** (算法偏见): 比较各群体的结果——公平是度量出来的，不是想当然。 - **Explainability** (获得解释的权利): 为影响重大的决策给出易懂的理由。 ### 用好它 - **Proportionate Governance** (量体裁衣的治理): 投入与风险等级相匹配；高风险请专家。 > AI 治理就是打造你能负责的 AI：知道你的风险等级，保持透明，记录它如何决策，让一个人保持可问责，并检查公平性——从一开始就内建，高风险处则请真正的专家。 速成课结束 · 7 章 · 19 个概念 · 非法律建议 接下来是实践：拿一个 AI 功能，诚实地判断它的风险等级——它会左右某人的生活吗？然后让它过一遍高风险清单：你能说明它如何运作吗，能展示它做了什么吗，能指出谁来负责吗，能解释一个决策吗？每一个"不能"，都是在事情变得要紧之前要补上的缺口。治理大多是并不光鲜、但做得到的工程活——日志、文档、监督。但请把一个想法放在最前面：当 AI 做出影响人们的决策时，你必须能为它负责。这门课帮你入门，但不能取代专家。