《人工智能革命：挑战与机遇》

本部分对应原书 Part I Safety and Risk，收第 1—5 章。五章都谈先进 AI 可能带来的严重乃至灭绝级风险，以及怎么防：第 1、5 章讨论给 AI 划“红线”，第 2 章主张停止开发超级智能，第 3、4 章从中美关系看“AI 竞赛”的说法和中国的 AI 安全工作。

第1章 行为红线：应对不可容忍风险的安全框架（第 1 章）：作者四人：本吉奥（Yoshua Bengio，加拿大蒙特利尔 Mila 研究所）、罗素（Stuart Russell，加州大学伯克利分校）、姚期智（Andrew Yao）和张亚勤（Ya-Qin Zhang，均为清华大学），他们从 2023 年 10 月起召集“国际 AI 安全对话”（IDAIS）。作者说，许多专家认为本十年结束前很可能出现通用人工智能（AGI），而迄今企业自愿的安全措施效果不好：英国 AI 安全研究所 2024 年 5 月报告说，所有受测的大语言模型仍很容易被“越狱”攻破。所以需要更严肃的监管。

作者借鉴核电、航空、医药的做法：产品上市前，开发者必须向监管者拿出有严格证据支持的安全证明。“安全”很难整体定义，但可以划出“行为红线”（behavioural red lines），标出明显不可接受的 AI 行为，由开发者证明系统不管收到什么输入都不会越线。行为红线不同于约束使用者的“用途”红线，即使没人滥用也适用，用户不能“授权”AI 越线，越狱也必须无效。好的红线要清晰、针对后果严重的行为、各国都能接受。2024 年 3 月 IDAIS 北京会议提出五条：没有人类明确批准，AI 不得自主复制或改进自己；不得不当扩大自己的权力；不得大幅提升他人设计大规模杀伤性武器的能力；不得自主发动造成严重经济损失的网络攻击；不得欺骗，让设计者或监管者误判它越线的可能或能力。

与 Anthropic 的“负责任扩展政策”（RSP）相比，红线适用于所有系统；RSP 的措施给不出定量、高把握的合规证明，也没有叫停开发的明确标准。

作者认为出事后追责的“事后监管”对大规模风险不够：1930 年美国的“jake-leg”中毒事件若今天重演，理论上的赔偿责任接近 2 万亿美元，约为全球再保险总容量的三倍；至于人类灭绝，事后追责毫无意义。“事前监管”通常要求提交“安全论证”（safety case），但很难用到 ChatGPT 这类“黑箱”模型上：它们靠模仿人类的语言来训练，而准确模仿人类并不等于安全；越狱又是有人刻意搜出来的，系统必须对几乎所有输入都稳健。

作者的结论是：监管者必须在部署前要求定量、高把握的合规证明。AI 公司常说，政府不该定公司做不到的规矩。作者回答：

这种看法是错的，因为合规很容易做到：只要不部署不安全的系统就行。

This is a mistaken view, because compliance is easily achievable—simply by not deploying unsafe systems.

第1章 Conclusions，p.12

作者还说，提供强安全保证的义务，会促使学界和业界探索“设计上就能保证安全”的新路线（第 1 章）。

第2章 人工超级智能的风险及应对（第 2 章）：作者康纳·莱希（Connor Leahy）和亚当·希米（Adam Shimi）来自伦敦的 ControlAI，本章改编自他们参与的报告《纲要》和《窄路》。作者的推理是一条链：现代 AI 没人真懂，能力增长看不到上限，到了比全人类都聪明、又完全自主的程度，人类默认会被毁灭；现有的安全研究和治理都不管用，根源在于以造出 AGI 为目标的公司。

第一环，AI 是“长”出来而不是“造”出来的：研究者只设计通用的学习算法，喂进算力和数据，让 AI 自己长成。后果是没人知道它能做什么、极限在哪：职业预测者 2021 年预计一年后 MATH 数学题库的最好成绩是 12.7%，实际是 50.3%。

第二环，能力没有上限。说 AI 永远做不到某事的人，拿不出一套经过检验的智能理论。AGI 出现后会被拿去做 AI 研究本身，不断自我改进，走向“人工超级智能”（ASI）。

第三环，灾难是默认结局。那时 AI 比人强得多，它若做出违背人类需要的决定，我们无从阻止。没人能保证长出来的 AI 做我们想要的事，它可选的许多做法对人类都是灾难，比如把电力全部转去算力；AI 强大以后不需要人类，所以不会为自保而避开这些做法。

因此我们不得不推断：一个由自主而强大的 AI 主导的世界，意味着人类的最终毁灭。不是出于恶意，而是出于漠不关心。

Therefore, we are forced to infer that a world with autonomous and powerful AIs running the show means the eventual destruction of humanity. Not out of spite, but out of indifference.

第2章 No Human Left: Catastrophe as the Default Outcome，p.24

作者强调，这个结论不取决于谁先造出 AGI、谁拥有它，灾难来自它的存在本身。

作者认为现有努力“连尝试都没有”：模型训练完再找毛病、打补丁，治标不治本；“机制可解释性”只能解释极小一部分；这些研究还常常反过来加快了能力进步。治理上，企业自律等于不受监管，各国 AI 安全研究所和国际组织都只能提建议，欧盟 AI 法案对前沿开发几乎没有限制。

作者把根源归到竞逐 AGI 的公司：DeepMind、OpenAI、Anthropic、xAI 一家接一家成立，都担心“错误的人”先造出来，于是安全让位于抢先。它们照搬烟草、石油等行业的老套路：制造混乱拖延，渲染对华对俄竞争，用自律框架顶住有约束力的监管。

出路是先停下冲向 AGI 的竞赛，签订国际协议，各国承诺不开发 AGI，并共同对违约者执行禁令。具体政策（沿用《窄路》）：把蓄意开发 AGI 和 ASI 定为刑事犯罪；禁止 AI 直接参与 AI 研究，禁止 AI 具备突破受限计算环境的黑客能力；要求开发者提交可独立核查的安全论证，举证责任在开发者；用覆盖整条供应链的许可制度加国际条约来执行。作者说，做到这种“外科手术式暂停”（surgical pause）之后，才有余地通过国际合作发展“构造即安全”（safe-by-construction）的 AI；这样做也不必禁止大多数有价值的专用 AI（第 2 章）。

第3章 最危险的虚构：AI 竞赛的言辞与现实（第 3 章）：作者 Seán S. ÓhÉigeartaigh，来自剑桥大学未来智能中心。2018 年他撰文警告，把 AI 说成一场“必须赢”的竞赛，这种说法本身可能自我实现；七年后，这一叙事已主导西方的政策讨论。作者的核心论点是：中美争夺全球主导地位的 AI 竞赛，起初是、现在很大程度上仍是一种虚构；强版本的竞赛叙事几乎只在西方流行，并越来越多地被用来为偏向 AI 公司的政策辩护。

作者区分两种竞赛：普通的技术竞争领先有利，但没有终点，迄今几乎所有 AI 进步都属于这种；“竞赛中的竞赛”则是一旦 AI 能加速 AI 研发，领先者可能取得永久的“决定性战略优势”（decisive strategic advantage）。后一种已被一些科技领袖接受，并被用来为极端主张开脱，如“相互确保 AI 失灵”（MAIM）：一国若被看出要独占超级智能，对手就准备从网络攻击到轰炸数据中心来破坏它。

竞赛叙事被用来反对监管：OpenAI 以中国为由，主张让美国公司免受各州繁重法律之累；萨克斯（David Sacks）以 DeepSeek 为由支持撤销拜登的 AI 行政令。作者反驳说，中国自 2023 年起对生成式 AI 的监管相当严，百度的文心一言推迟了 6 个月。

中国真在竞逐 AGI 吗？2024 年 11 月，美中经济与安全审查委员会（USCC）建议国会设立“类曼哈顿计划”冲刺 AGI，但这份 793 页的报告没有提供中国在冲刺 AGI 的证据。反面证据是：中国官方说的“通用人工智能”多指 ChatGPT 这类通用 AI；国家对 AGI 的专门投入很少；阿里巴巴宣布 3 年投入 530 亿美元，微软仅 2025 年一年就计划投入 800 亿美元。作者判断，中国想当 AI 的世界领先者，但强调竞争与合作并存；现实中的 AGI 竞赛，是在主要总部设在美国的公司之间进行的。

这一叙事被用来削弱安全监管，让权力和资源集中，破坏国际信任，还会加速、甚至凭空造出它所警告的竞赛。作者的建议：认真核查支撑这一叙事的证据；让各方对超级智能及其后果形成清楚、一致的预期；优先释放善意，承诺公平分享 AI 的收益；在防止强大模型落入非国家行为者手中等共同利益上合作；以国内监管加国际标准给竞争设一个“地板”；提前准备监测和核查工具；始终保持官方和民间（“二轨”）沟通渠道。

我认为，关于美中 AI 竞赛的较强版本叙事被夸大了；而西方媒体和政策话语目前所呈现的“美中争夺决定性战略优势的 AI 竞赛”这一具体叙事，是有史以来最危险的虚构之一。

I argue that the stronger narratives around a US–China AI race have been overstated, and that the specific narrative of a US–China AI race for decisive strategic advantage, as currently presented in Western media and policy discourse, is one of the most dangerous fictions ever created.

第3章 Conclusion，p.68

作者最后说，世界不应毁于一个虚构（第 3 章）。

第4章 中国的 AI 安全生态及其对国际 AI 治理的意义（第 4 章）：作者 Jason Zhou、Kwan Yee Ng、Brian Tse 均来自北京的 Concordia AI，本章写于 2025 年 2 月。作者说，全球对中国 AI 安全立场了解有限；他们从国内治理、国际治理、技术研究、专家观点、企业自律五方面梳理“前沿 AI 安全”。

国内治理：中国是 AI 监管的先行者，2021—2023 年出台三部规定，分别管推荐算法、深度合成和生成式 AI，确立了算法备案和安全评估两项工具：面向公众的系统上线前都要备案并让监管部门测试，到 2025 年初已有 302 个生成式 AI 系统完成备案。作者认为，鉴于政府实行部署前审查，这套备案更接近一种许可制度。这些工具 2024 年起扩展到前沿风险：2024 年 7 月二十届三中全会决定提出“建立人工智能安全监管制度”；2025 年 2 月，中国人工智能发展与安全研究网络亮相，自称相当于别国的 AI 安全研究所。

国际治理：2023 年中国发布《全球人工智能治理倡议》，并签署《布莱切利宣言》。中国立场以联合国为中心，重视帮发展中国家建设 AI 能力，坚持人类控制 AI，防止非国家行为者滥用 AI。中美 2024 年 11 月就“维持人类对使用核武器决定的控制”达成共识。

技术研究和专家观点：中国机构 2023 年 4 月到 2024 年 12 月发表了 269 篇前沿安全论文，月均发表量从 2023 年约 7 篇增到 2024 年 18 篇；研究从改造国外方法转向原创。中国专家的态度从最初的怀疑、把安全关切边缘化，转为 2023 年后的主流接受和认真投入，中外专家在基本安全问题上趋于一致。

企业方面：智谱 2024 年 5 月成为首家签署《首尔前沿 AI 安全承诺》的中国公司；2024 年 12 月，17 家中国企业签署《人工智能安全承诺》，包括阿里巴巴、百度和 DeepSeek。作者说，如果中国公司也承诺类似的安全规程，就能减轻美国公司“严格安全会让自己吃亏”的担心。

作者展望的国际合作方式有：国际共建的 AI 安全研究中心；AI 版的国际原子能机构，原则上中国可能接受；周伯文提出的在红线之前先设预警“黄线”，作者认为比新建国际机构更可行；把 AI 安全当作“全球公共品”。作者说，失控和恐怖分子滥用威胁所有国家，需要全球的办法：

把中国排除在外的治理方案，可能会损害中国国产模型的安全、造成监管割裂，并加剧领先 AI 开发者之间本就存在的、鲁莽推进 AI 开发的地缘激励。

Governance approaches that exclude China would likely undermine the safety of China’s domestically produced models, create bifurcated regulatory spheres, and intensify the default geopolitical incentive among leading AI developers to recklessly drive forward their AI development.

第4章 Looking to the Future，p.108

第5章 重新思考防范 AI 生存风险的红线（第 5 章）：作者 Yi Zeng、Xin Guan、Enmeng Lu、Jinyu Fan，来自北京的远期人工智能研究中心等机构。作者认为，欧盟 AI 法案等现有监管针对的是具体风险，没有专门对付“生存风险”。IDAIS 北京五条红线切中了要害，但缺乏理论框架。

这些红线虽然阐明了紧迫的全球关切，但似乎是以有些临时拼凑的方式制定的，缺乏用于解释和证成的理论框架。

Although these red lines elucidate pressing global concerns, they appear to have been developed in a somewhat ad hoc manner, lacking a theoretical supportive framework for explication and justification.

第5章 Complementing Existing Efforts to Address AI Risks，p.118

作者在博斯特罗姆（Bostrom）按“严重性”和“范围”分类的基础上，把范围拆成“参与度”（受影响人口的比例）和“持续性”（恢复常态要多久），再加上“强度”（对当事人的伤害程度），三项都到最大的就是生存风险。作者只讨论 AI 直接导致的生存风险。

作者区分两种思路。“建设性思维”相信人与 AI 终能和谐共生，价值对齐属于这种，是在搭建 AI 的内部机制；“预防性思维”以不信任先进 AI 为前提，预先设定禁区，红线属于这种，是外部的保险，即使 AI 的内部机制失灵，它也不能给世界带来生存性影响。

作者把 AI 直接导致生存灾难的过程分三步：触发事件、AI 失效、升级为威胁人类生存的极端事件。对应三项目标：事先过滤高风险的触发因素，对失效快速反应，拉长从失效到灾难的因果链。由此推出四条示范红线：

• 不得绕过有效的人类监督：这是执行其他红线的基础，也涵盖“欺骗”和“权力寻求”；
• 未经同意，不得协助针对大众的行动，如大规模监控、操纵信息或人群：这是 IDAIS 五条没有的新红线；
• 不得擅自改变基础设施和环境管理的运行规则：这对应“网络攻击”，也限制自我复制和过度消耗资源；
• 不得独立研发对人类无益的技术，如大规模杀伤性武器：这对应“自主复制或改进”和“协助武器开发”。

作者在结论中说，这些红线只针对 AI 直接导致的生存风险，不覆盖所有 AI 风险；执行和监督要借鉴核安全、生物安全的制度经验，也要面对很难对 AI 维持有意义、可扩展监督的难题；设立红线是一项持续的工作，要随技术进步不断解释、评估和修订（第 5 章）。

本部分对应原书 Part II Approaches to Regulation，收 4 章，讲各地怎样管 AI：第 6 章讲欧盟的《人工智能法》，第 7 章讲英国，第 8 章讲美国，第 9 章由一位印度作者从人权和发展中国家的角度，呼吁靠多边合作来治理 AI。

第6章 人工智能革命：挑战与机遇（第 6 章）：作者阿克塞尔·福斯（Axel Voss），署名单位是欧洲议会（European Parliament）。本章章名和全书书名一字不差。本章讲欧盟的《人工智能法》（AI Act）：经过三年谈判，这部法律 2024 年 8 月生效，是世界上第一个应对 AI 风险的全面法律框架。作者认为，它是在鼓励创新和保护基本权利之间求平衡的大胆尝试，但也复杂多面，让人担心它会拖累欧洲 AI 产业的竞争力。

立法从 2016 年起酝酿，2021 年 4 月 21 日提出法案。要统一立法，一个理由是防止各成员国各搞一套、把欧盟内部市场割裂。法案的主要内容：

• 管谁：覆盖整条价值链，包括提供者、部署者，以及进口商、分销商和产品制造商。
• 什么算 AI：下定义是法案政治上最敏感的部分，因为定义决定管多宽。最后的定义与 OECD 宽泛的说法对齐，核心是“推断”（infer）的能力：传统软件照程序员事先写好的规则运行，AI 系统能从输入的数据里自己生成规则。
• 按风险分级：分最小、有限、高、不可接受四级。不可接受的一律禁止，如操纵人的行为或利用人的弱点、社会评分、凭画像做预测性警务、无差别抓取人脸图像、按种族等做生物特征分类、执法时在公共场所实时远程识别人脸（特定情形除外）。
• 高风险系统是法案的核心：提供者要记录开发的每个阶段、用高质量数据训练、写清使用文档、保证准确和网络安全，并在欧盟的公开数据库登记；部署者要指定合格人员做人工监督。
• 通用目的 AI 模型（GPAI）：欧洲议会始终反对把高风险义务套到它们身上，理由是这类模型没有固定用途。最后定为两级：一般模型要满足透明度要求、遵守欧盟版权法规、公布训练内容的详细摘要；可能带来系统性风险的先进模型，还要做模型评估、识别和缓解风险、报告事件。深度伪造必须清楚标明。

谁来担责，是谈判里争得最厉害的问题之一。欧盟委员会最初的方案只管价值链的最后一环；但毛病可能出在底层模型或数据集上，下游的软件公司看不到这些组件的全貌，依赖大公司的小企业也没有足够的议价能力去要系统信息。最后欧洲议会的主张胜出：主要负担仍在高风险系统的提供者身上，但整条价值链上的各方都有了具体义务。

执行主要靠欧盟委员会内部新设的 AI 办公室，各成员国另设主管机关。作者批评，法案没说清新旧监管机构怎样协作，缺少一个“一站式”机制；成败很大程度上看委员会能否尽快拿出协调技术标准，没有这些标准，中小企业和初创企业就少了一件能大幅降低合规成本的工具。

总评中，作者列出的“胜利”有：促进国际协调；对科研和开源开发给予豁免；对高风险系统采用灵活原则；要求 AI 生成内容可以追溯；对 GPAI 模型设了对创新友好的两级框架；监管沙盒和协调标准有望减轻小企业的负担。“失败”有四条：同时管产品安全和基本权利，两套逻辑有张力；把为静态消费品设计的“新立法框架”套到 AI 上，造成结构和法律上的不一致；定义含糊，给不了法律确定性；治理分散在欧盟和成员国两级、多个部门，执行可能不一致，受害最深的是中小企业和初创企业。

他建议委员会给中小企业提供简化的合规工具，就数据获取、数据保护和版权这些交叉问题给出更清楚的指引，并制定全面的 AI 创新战略，配上大规模投资和更多风险资本。作者说，法案如果失衡、给欧盟的中小企业设了障碍，欧洲在 AI 上会进一步落后于全球领先者。

归根结底，《人工智能法》是 AI 监管的一座重要里程碑，但它能否成功，取决于实施，也取决于欧盟能否调整治理框架，在应对风险的同时促进创新。

Ultimately, the AI Act represents a significant milestone in regulating artificial intelligence, but its success will depend on its implementation and the EU’s ability to adapt its governance framework to foster innovation while addressing risks.

第6章 Reflecting on the AI Act: The Victories and the Defeats，p.144

第7章 从图灵到明天：英国的 AI 监管路径（第 7 章）：作者奥利弗·里奇（Oliver Ritchie）、马库斯·安德永（Markus Anderljung）、汤姆·拉赫曼（Tom Rachman），三人都在伦敦的治理人工智能中心（Centre for the Governance of AI）。章名出自图灵 1950 年的一句话：我们只能看到前方不远处，但已经能看到那里有很多需要做的事。作者用它引出 AI 监管的老难题：对 AI 的未来所知甚少，怎么确定该做什么。英国召开了首届全球 AI 安全峰会，想在美国重增长、欧盟重安全之间走出一条路；但它的国际杠杆有限，既没有美国对 AI 产业的直接影响力，也没有欧盟塑造市场的力量，更没有中国的经济体量。

本章前半是英国 AI 监管的历史：

• 2016—2019 年，重伦理、轻干预：关注偏见、隐私这类眼前问题，上议院特别委员会 2018 年的报告认为现有法规已经够用。偏好窄范围的监管、和“观望”态度一起，成了此后几年英国 AI 政策的主调。
• 2019—2022 年，“支持创新”，与欧盟分道：2021 年的国家 AI 战略要用十年把英国变成“AI 超级大国”，仍由各行业现有的监管机构管，监管 AI 的使用而不是技术本身。
• 2022—2024 年，对灾难性风险的担忧上升，监管仍不干预：ChatGPT 2022 年 11 月发布后，2023 年 3 月的白皮书仍认为对基础模型采取具体监管行动“为时过早”。同年 5 月，Google DeepMind、Anthropic、OpenAI 三家的 CEO 都在一句话声明上签名，主张把降低 AI 导致人类灭绝的风险列为全球优先事项。
• 布莱切利峰会：2023 年 11 月召开，中国代表团签署《布莱切利宣言》。会后英国设立 AI 安全研究所（AISI），这是全球第一个此类政府机构，负责对 AI 系统做技术评估。苏纳克说不能让开发者“给自己的作业打分”，又说英国不急着监管。
• 2024 年工党上台：承诺对少数开发最强模型的公司实行有约束力的监管，第一次愿意用具体规则代替前沿公司的自愿承诺；同时设立监管创新办公室（RIO），并几乎全部接受《AI 机遇行动计划》的 50 条建议。

后半讲英国的处境和政策选项。工党政府的施政重点是经济增长和改善公共服务，财政空间有限，这些压力会让政府偏向较宽松的监管；但作者认为，监管并不总妨碍增长，它能增加确定性和信任，而一场事故会让公众转而反对 AI，就像 1979 年三里岛事故永久地损害了公众对核电的信任。

作者接着讨论八个议题，各给监管选项：

• 降低采用门槛：英国经济中约 45% 的支出由政府主导。建议用好 RIO 和行动计划，在机器人、无人机、自动驾驶等领域设监管沙盒，并要求现有监管机构每年报告怎样促进本领域的创新和增长。
• 前沿 AI 监管：2010 年到 2024 年 5 月，训练最强模型所用的算力增长了 7.86 亿倍，这些能力是两用的，也能用于网络攻击、生物风险、大规模说服和欺诈。作者主张在开发源头管，因为开发者最能评估和调整模型，许多应用又依赖少数几家公司的系统，一处出事会牵连全局；药品、航空也都是在产品生命周期的多个环节一起管。具体建议：按训练算力划定范围，例如训练量超过 10^26 次浮点运算，辅以其他指标；分安全、网络安全、透明三组义务；设一个有监督权和执法权的独立监管机构，AISI 保留为政府内的专业支撑。
• 深度伪造：分享色情深度伪造已经违法，但制作还没有入罪。建议研究强制加水印是否可行，政府的重要文件现在就采用 C2PA 这类内容溯源标准。
• 版权：在英国境内训练 AI 处于法律灰色地带。建议要求开发者公开所用数据，并支持建立批量许可系统。
• 歧视与偏见：不为 AI 另立规则，而是更新现有反歧视框架，明确覆盖算法决策。
• 生物设计工具：可能帮恶意者找出新的大流行级病毒。建议先做风险评估、与产业制定自愿指引，加强对定制 DNA 订购的管控，投资宏基因组测序、广谱疫苗和更好的防护装备。
• AI 智能体：部署智能体的人未必知道它会做什么，由此形成问责漏洞。建议某些行动须人明确批准，建立智能体身份识别系统，确立刑事责任怎样适用的一般原则，并立法要求智能体为用户的最大利益行事。
• AI 导致的失业：用法规阻止自动化不是好办法，重点应放在增强社会的适应能力：跟踪技能需求，推广 AI 素养，重新设计安全网、税制和转岗援助，设“AI 增长债券”支持被取代的工人。

结论回到图灵：只能看到前方一小段，人们因此很想等技术轨迹明朗了再监管。作者认为，英国下一步要把国际领导力变成有效的国内政策，建立既有原则、又能随时调整的治理方式。

然而，AI 的能力在加速提升，融入社会也越来越深，等得太久，就可能在保护框架建立起来之前，让重大危害先冒出来。

However, given AI’s accelerating capabilities and growing integration into society, waiting too long risks allowing significant harms to emerge before protective frameworks are in place.

第7章 Conclusion，p.182

第8章 美国的人工智能监管（第 8 章）：作者李·蒂德里希（Lee Tiedrich），杜克大学（Duke University）。本章完成于 2025 年 3 月初。作者说，美国走的是相对“去监管”的路线，但已经通过多条渠道定下政策方向，也有一部分有约束力的要求。他区分硬法（有约束力、可以强制执行的法律和规章）和软法（不能强制执行、但有影响力的声明、原则和指南），给出一个理解美国 AI 法律怎样形成、怎样变化的框架。

与欧盟和中国不同，美国还没有通过一部覆盖全辖区的综合性人工智能立法。

Unlike the European Union (EU) and China, the United States has not adopted comprehensive artificial intelligence (AI) legislation that extends throughout the entire jurisdiction.

第8章 开头，p.199

先看政府结构。AI 通常跨越州界，主要靠联邦法律能减少企业应付各州各地“拼凑”规定的成本；但联邦立法有限，州和地方越来越多地自己立法。国会没有通过综合性 AI 法，作用最大的是行政部门，而它往往反映总统的施政重点：拜登政府加强监督，特朗普政府倾向减少监督。2024 年 Loper Bright Enterprises v. Raimondo 案后，法院不再必须尊重行政机关对含糊法律的合理解释，作者认为这会扩大法院在 AI 法律解释上的作用。

国会已通过的 AI 立法只给出高层方向，例如 2020 年的《政府 AI 法》，以及每年《国防授权法》（NDAA）里的 AI 条款；2021 年的国防授权法中的《国家人工智能倡议法》（NAIIA）责成 NIST 制定 AI 风险管理框架，并筹建国家 AI 研究资源（NAIRR）。

行政令是总统定政策的主要工具，但可以随时被撤销或修改，通常不如立法持久。特朗普第一任期 2019 年启动“美国 AI 倡议”，要求各机关避免不必要地妨碍 AI 创新；拜登 2023 年 10 月的行政令对 50 多个机关下达 100 多项指令，并援引《国防生产法》要求部分大语言模型的开发者做安全测试、报告结果；特朗普第二任期上任首日撤销拜登这份行政令，新令目标是维持和增强美国在全球 AI 领域的“主导地位”。

行政部门的其他工具：

• 部门规章：FTC 禁止用 AI 深度伪造等手段冒充政府或企业；商务部的出口管制规则限制先进芯片和部分模型权重出口；财政部限制对中国的 AI 等技术投资。
• 软法：NIST 的自愿性 AI 风险管理框架（AI RMF）；2023 年 7 月 Amazon、Anthropic、Google 等公司向白宫作出自愿承诺，包括红队测试、识别 AI 合成内容等。作者认为软法虽不能强制执行，在形成规范和最佳实践上却很有影响。
• 执法：九个联邦机关承诺用执法权保护公众免受 AI 损害。例如 FTC 在和解中要求企业删除用未经适当同意的个人数据训练的模型；EEOC 与 iTutorGroup 和解，后者的自动筛选程序以年龄为由拒绝了两百多名年长求职者。
• 公共采购：政府可以用采购规则要求承包商遵守 AI 政策，2022 财年联邦政府用于 AI 相关合同的支出超过 20 亿美元。

法院方面，Thaler 系列案确认，没有人类作者或发明人的 AI 作品和发明，不受版权或专利保护。州和地方动作越来越多：2024 年至少 45 个州提出 AI 法案，31 个州和部分领地通过了 AI 立法或决议。例如科罗拉多州的《科罗拉多人工智能法》（CAIA）要求“高风险”AI 系统的开发者和部署者防止算法歧视；田纳西州的 ELVIS 法保护个人声音和形象不被 AI 冒用；纽约市要求招聘中使用的自动化雇佣决策工具先做偏见审计。

作者认为，企业要同时应付联邦、州、地方乃至外国的规定，合规成本大增，可能成为初创企业的进入壁垒。国际上，美国主导的联合国大会 AI 决议 2024 年协商一致通过；美国参加了英国、首尔、巴黎三次峰会，但没有签署巴黎峰会的部长宣言。结论里作者说，AI 技术跑在法律前面；美国的图景是联邦、州、地方都在动，权力分散，还会随政治更替而变；要跟上，就得理解政府结构、法律怎样制定和改变，并持续追踪相关机构的动向。

第9章 在 AI 时代守护人的能动性与自由：呼吁多边主义（第 9 章）：作者阿尔卡纳·古拉蒂（Archana G. Gulati），署名新德里的独立学者，书中自述是退休的印度公务员、技术政策教授。她开篇问：互联网本应让我们自由，它兑现了这个承诺吗？作者认为，人们上网付出注意力、换来服务，同时交出大量个人数据，算法借此预测和引导人的行为；AI 正沿着同一条路放大这些伤害，对数字基础薄弱、监管能力不足的全球南方伤害最重。她主张从人权的角度看 AI。

作者认为，竞争法、隐私和数据保护、内容监管、AI 监管，本来都是可用的工具，但每一样都用得迟缓、胆怯。数字市场高度集中，人们对失去隐私也已经麻木。

失去隐私，就是失去对自己生活的掌控；权力的集中，与数据的集中同时发生。

The loss of privacy is a loss of our power over our lives, and the concentration of power is concurrent with that of data.

第9章 Governance and the Golden Goose，p.239

全球 AI 竞赛让单个国家很难自己纠偏，希望在于国际合作。全球人工智能伙伴关系（GPAI）2020 年的调查显示，全球 214 项 AI 伦理、治理或“AI 向善”倡议中，58% 以上来自欧洲和北美，只有 1.4% 来自非洲。作者反驳“消费者权利是发展中国家快速数字化时负担不起的奢侈品”这种想法。她用人权而不用“伦理”做尺度：伦理在多元文化的世界里很难有共识，在法律上用处有限；《世界人权宣言》和两个国际人权公约已是全球公认的规范，对政府和企业都适用。

作者说，个人信息一经数字化，就被 AI 拼合成一个人的“虚拟地图”，用来操纵我们的决定和行为。全球还有 26 亿人没联网，他们在 AI 的训练数据里代表不足；算法推荐驱动着 Netflix 80% 的观看、YouTube 70% 的观看时长。

她把数字监管比作一幅拼图。印度电信监管机构要求运营商提供不含数据的套餐，她以此说明，有市场力量的企业是可以被要求把顾客放在第一位的，并反对不问用户是否同意就把 AI 工具强行捆进应用。生成式 AI 本可能冲击现有巨头，但巨头已和 AI 公司结盟。书中两个案例：印度竞争委员会（CCI）认定 WhatsApp“要么接受要么离开”的隐私政策是滥用支配地位，2024 年 11 月 18 日的终局命令要求让所有印度用户可以拒绝把数据分享给 WhatsApp 以外的服务；在缅甸，Meta 内容审核不足，平台被用来散布针对罗兴亚人的仇恨。

作者反驳把责任推给算法的说法：伤害来自算法和人性的结合，要反省的是系统里的人。她拿药品作比：我们不会让未经审批的有害药物投放给人群，为什么对 AI 区别对待？没有护栏就贸然部署 AI、事后再收拾残局，等于把人类当作小白鼠。AI 资本密集，免费或低价的应用吸引用户交出数据，巩固先行者的地位。她认为，模型复杂不透明、数据不全、设计有缺陷，都不能成为伤害人的借口；并建议从语言改起：不说 AI“幻觉”，说它因数据和设计的缺陷给出错误结果；不说 AI“学习”，说它抓取内容来训练。

最后一节讲以人权作为 AI 治理的基础。作者引联合国 2024 年的报告说，全球 AI 治理存在“赤字”，规范零散，合规多靠自愿。她强调适当、相称的监管带来确定性，既鼓励投资和创新，也保证 AI 用得安全负责；把人权交给企业自愿，不良做法还能靠“择地行事”存活，发展中国家享受不到发达国家消费者那样的保护。她以国际竞争网络（ICN）为参照：它没有强制力，却在协调各国竞争法上很有作用。她的主张是：

• 在联合国框架下建立一个基线性的法律框架，同时开展自愿的多边合作；
• 发达国家帮助全球南方更多地参与 AI 治理；
• 制定 AI 设计的国际标准，不只要求系统透明、可解释，还要求开发者和部署者审慎权衡设计中的伦理取舍，详细记录并公开披露。

作者说，要实现 AI 造福人类的承诺，就要重振并重塑多边主义，让所有人的声音都被听到，包括较穷的国家、无权者和边缘群体。

本部分对应原书 Part III Defence and Security，收第 10—14 章共 5 篇。第 10 章是三位作者合写的总览，也可当作后几章的导读；后四章分别讲 AI 对防务的战略影响、军事 AI 的国际法规制、利用 AI 恶意操纵人类决策、英国国防怎样为 AI 改造采购。几篇反复碰到的是同一组问题：决策被压缩到机器的速度以后，人还能怎样控制、谁来负责，以及落后的代价有多大。

第10章 AI 与机器人时代的防务、安全与战争（第 10 章）：作者三人，各写一篇政策分析。Nicholas Houghton，英国武装部队前国防参谋长；Nicholas Fairfax，上议院当选议员、本书合编者；Max Rangeley，智库科布登中心理事、本书合编者。总论点是：AI 和机器人正在成为 21 世纪安全竞争的“组织逻辑”。机器处理数据的速度超过人能观察和思考的速度，决策时间被压缩，威慑能否稳定、伦理上能否控制、制度能否跟上，都成了问题。证据多来自俄乌战争：乌克兰国防部副部长 Oleksandr Kozenko 说，无人系统造成了“80%”的战场毁伤；2025 年 6 月的“蛛网行动”用 AI 增强的小型无人机，重创深入俄境数百公里的 40 多架俄军飞机。北约 2024 年 7 月修订的人工智能战略，核心是六项负责任使用原则：合法，责任与问责，可解释与可追溯，可靠，可治理，减少偏见。

作者回顾从 1898 年特斯拉演示无线电遥控船到 1990 年代“捕食者”无人机的历史，概括说每一波自主化都拉大了操作者意图与战场行动之间的“速度—距离包络”；今天不同的是，深度学习带来会自我调整的行为。军事 AI 分成硬件加四根支柱：感知；决策（强化学习能发现新战术，但离开训练环境就很脆弱）；生成（大语言模型也可能降低制造生物威胁的门槛）；边缘执行（难点在集成，“采购改革可能比摩尔定律更要紧”）。掌握任何一层只得战术收益，把各层整合起来才决定战略优势。网络和认知领域是 AI“零边际成本”优势最突出的地方，防守方只能以同样的速度自动化，否则就输。

核威慑一节从 1983 年苏联值班军官彼得罗夫面对误报、选择等待讲起。深度学习把决策窗口压到秒乃至毫秒。在核指挥、控制与通信（NC3）里用 AI 有三种失效：训练数据以外的情况会误判；自动化偏差；对手投毒数据、伪造发射信号。常规和核指挥链一旦纠缠，常规冲突可能意外升级为核冲突；对 AI 的错误信任将是决策者最难应对的挑战之一，哪怕每一层决策都有人。

Houghton 认为，社会最该担心的是正式战争门槛以下的 AI，“信息如今是世界上最强大的武器”。先进国家军队拥抱 AI 已不是可选项。以为保留人的决策就能保证合法、合道德地用武，“这根本不是事实”，在战争的极限压力下人往往是最薄弱的一环，所以最有效的监管应放在技术测试、批准和列装阶段。上议院委员会 2023 年底的报告冠以“谨慎前行”；18 个月后，他认为英国应当接受“可容忍的风险”。但他也担心英国把国家安全押在尚未兑现的技术优势上：“技术已成了最新的炼金术”。

所以真正的问题不是要不要利用 AI 和自主性，而是怎样用好它们。

So the real question is not whether to exploit AI and autonomy, but how best to do so.

第10章 Policy Analyses for the Present and Future，p.284

Fairfax 转述上议院人工智能武器系统特别委员会的讨论，核心是“有意义的人类控制”（Meaningful Human Control, MHC），它没有明确的法律定义；武器的自主性是一个谱系。控制要贯穿设计到交战后问责的全过程，并满足可预测、可追溯、可问责三个条件。委员会认为现有 AI 不能被指望在比例性或军事必要性上作出合乎伦理和法律的判断；引入自主系统不会稀释指挥官的问责，反而加重其责任。委员会还建议在国防部内设专门的审查机制，并加强议会监督和公众透明。

Rangeley 提出三个概念。一是“技术可替换性”：AI 和机器人大量民用，全球禁止“杀手机器人”后，打仗时那数以百万计的人形机器人和无人机怎么办？这使监管远比以往困难。二是“授权困境”：人遥控的无人机达不到自动蜂群的协同水平，“有意义的人类控制”会在竞争中被消磨掉；未来的仗由夺得“算法普拉岑高地”的一方打赢。核时代的“鹰鸽博弈”双方都当“鸽派”最好，授权困境却更像囚徒困境：每一方都想把更多战术决策交给自动化系统，整个体系的风险随之加大。三是“环境性冲突”：对抗在“武装攻击”的法律门槛以下持续进行，归因不透明，防御越来越交给自动化，人的监督越少。三者汇合，是像核武器出现那样的“冲突本体论”转变。

第11章 在防务中部署人工智能的战略影响（第 11 章）：作者 James Black，兰德公司伦敦。多数讨论停在致命自主武器系统、人在回路内外的战术层面，或 AGI 的生存风险，AI 对整个国防事业“从散兵坑到工厂”的战略影响反被低估。他主张把 AI 看成复杂的社会—技术系统，采用的速度和方向也取决于组织、财务、法律、伦理和文化；即使只是窄 AI，也会像电力、微芯片那样成为改变国防方方面面的通用技术。

他梳理了五类影响：决策支持（风险是偏差、不可解释、过度依赖和数据投毒）；作战执行（把各域传感器和火力连成“杀伤网”）；后勤与医疗保障；国防事业本身的转型；联盟层面（可能拉开“AI 富国”和“AI 穷国”的差距）。他特别看重第四类：

关键在于，采用 AI 带来的许多最深远的近期影响，可能出现在远离战场的地方，出现在很少被讨论的国防“后台”职能里。

Crucially, many of the most profound near-term impacts from AI adoption may come far from the battlespace, in the much less-discussed ‘back office’ functions of defence.

第11章 Impact of AI on Future Warfare，p.304

AI 加剧不稳定有四条途径：威慑和升级失稳，AI 会加快危机决策、制造“先开火”的诱惑，只要一方“认为”AI 构成这种威胁就够了；扩散，AI 是军民两用的软件，出口管制只能延缓，也难以监测和核实；赋能非国家行为体，最令人担心的是大语言模型降低研制生物武器的门槛；虚假信息、就业冲击、“闪崩”等二阶、三阶效应。一国能否把潜力变成实际产出，更多取决于治理体系，削弱对手也是一种手段；国际规范仍在起步阶段。AGI 方面，兰德把担忧归为“神奇武器”、权力平衡转移、外行研制大规模杀伤性武器、目标与人类不一致、全球不稳定五个问题，只要大国相信先造出 AGI 者获得无法超越的优势，一份情报就可能引出先发制人的念头。结论是在“作为的风险”和“不作为的风险”之间权衡，走“双轨”：国内负责任地加快采用，国际上用外交、威慑和激励塑造治理，避免安全和伦理标准“竞相降低”；在国防领域，对 AI 无所作为既不可信，也不可取。

第12章 军事化人工智能领域国际法规制的现状与未来（第 12 章）：作者 Tsvetelina van Benthem，牛津大学。依靠 AI 的军事应用已在各国武库里，人在决策中的角色正被重新安置。最突出的担忧是“非故意交战”，即并非有意造成、却伤及平民等受保护人员和物体的攻击：AI 可能切断人的意图与战场结果之间的联系，而国际人道法在多大程度上管这类交战本身就有争议。讨论的主要场所是《特定常规武器公约》（CCW）缔约方 2016 年设立的政府专家组。目前没有公认的自主武器系统定义；将来要下定义，应着眼于功能、交互和效果，不要绑定具体技术。国际法院 1996 年的核武器咨询意见认定，国际人道法适用于一切武器，AI 也在现行法的管辖之内。

因此，关键问题不是法律是否适用，而是它怎样适用于 AI 的军事应用。

The critical question therefore is not whether the law applies, but how it applies to military applications of AI.

第12章 Foundational Legal Challenges Posed by Military Applications of AI，p.327

作者认为 AI 是把三个从未定论的老问题推到台前：

• 人在用武决策中的参与：共识措辞下面是对参与形式和程度的深刻分歧，从批评“名义上的人类输入”，到认为人的要素可以在不同阶段间接行使。
• 非故意交战：2022 年马里乌波尔剧院的平民在入口处写了“儿童”，如果执行攻击的是自主武器，AI 怎么接收和解读这种信号？现行法有正面和负面义务，但很多规则“模糊、像素化、规定不足”，容易让人以为存在灰色地带。国际人权法对士兵生命权的保护也有用武之地。
• 责任：作者不同意“问责缺口”之说，国家和个人只对违反国际义务的作为和不作为负责，所以更准确的是法律在内容和适用上的“确定性缺口”。

规制有两条路。订新条约能把保护细化，但主要开发国大概不会加入，还可能让人低估现行法；澄清现行法则靠各国的立场文件和发言形成国家实践，让义务边界逐渐清晰，风险越高，注意标准也应越高。作者判断，在当前地缘政治下，认真澄清现行法最值得投入资源，将来再为新条约铺路；她批评到目前为止的澄清“至多是半心半意”。

第13章 人工智能与对人类决策的恶意操纵（第 13 章）：作者 Gavin Pearson，书中只注明所在地 Great Malvern, UK。本章讲行为者利用 AI 蓄意操纵人类的理解和决策，包括群体协调集体行动的能力。作者主张先从整个系统看，不要太快收窄到“AI 制造的虚假信息”：

• 行为者：除了恶意行为者，还有“失误者”；操纵的目的未必是改变信念，也可能是削弱、扰乱或拖延决策。
• 决策：可归成收集信息，整合信息，识别选项、评估与决策，沟通与协调四项活动；认知偏差留下可乘之机，注意力是最关键的资源。
• 信息“供给”与中介：“注意力经济”下平台用参与数据训练算法；中介既不可避免也不可或缺，算法是在巩固小圈子还是在搭桥，对集体决策很关键。

防御上，网络空间难以归因，多靠“拒止式防御”；用在人类决策上，要超出传统信息保障，进到“认知安全”，确保我们确实知道自己所知，信息系统能抵御“认知威胁”。证据方面，AI 可用于建立个人画像、大量生成定向内容、误导推荐算法、制造社交机器人、音视频冒充，情感计算也会给操纵者带来重大能力；英国国家网络安全中心评估，AI 给威胁行为者的提升主要在社会工程。作者把“AI 革命”界定为基础模型、数字孪生／影子和 AI 智能体三者的结合。

核心判断是：给人类决策建立高保真的数字影子，必须施加刺激、观察反应。伦理理应约束这类开发，但很多恶意行为者不受约束；技术先进的威权监控国家最有条件借此获得 Zuboff 所说的“工具主义”权力，在认知安全上大幅压倒对手，削弱甚至压垮其群体决策。认知不安全还是风险放大器，会让其他全球灾难性风险更可能发生、更严重。

此外，未来可能出现的认知不安全，应被视为一项优先的全球灾难性风险。

Further, the potential for future epistemic insecurity should be considered a priority global catastrophic risk.

第13章 Conclusion，p.358

第14章 为 AI 时代改造国防（第 14 章）：作者 James Lawson，亚当·斯密研究所伦敦。核心论点：AI 是军事能力的根本转变；就像软件在商业领域“吞噬了世界”，国防也必须拥抱这场革命，否则在战略上就会无足轻重。他拿英国一战后的“十年规则”警示自满；冷战后是三十年的实际去投资，英国国防开支占 GDP 的比重从 4% 减半到约 2%，而修正主义国家想直接跃进到自主系统和 AI 战争。宣言容易写，落实却难：按数量或金额计，兑现国防 AI 的合同不到 1%。

AI 的用处有后台和前线两类，但首要焦点必须是战场能力，OODA 环循环更快的一方获胜，现代军队力求把“杀伤链”从几小时、几天压到几分钟、几秒。一架 2.5 万英镑的打击无人机可以摧毁一辆 1000 万英镑的主战坦克，“投资回报”400 比 1。乌克兰的无人机从靠 GPS，到人工驾驶的 FPV，再到 AI 自动驾驶、人“在环上”批准开火；黑海上的无人水面艇迫使俄黑海舰队把主力移走，即使损失与击杀比约为 10 比 1，经济上仍然有利。前沿 AI 的训练算力每 6 个月翻一番，作者批评“AGI 心理回避”，认为投资不足的风险远大于准备的成本，最安全的策略是确保民主国家在 AI 能力上领先。

全章的落点是“软件吞噬国防”。国防市场单一买家、采购繁复，老牌主承包商为“成本加成”的硬件交付而优化；传统采购从硬件规格开始，软件是事后补充。打击无人机的机身是商品，硬件换代大概只提升 5%—10%，软件更新却能带来数量级的提升，几天就能部署。所以军事采办应当从软件专家开始，由他们规定最小可行的硬件平台。

硬件提供平台，但决定效能的越来越是软件。

The hardware provides the platform, but the software increasingly determines effectiveness.

第14章 Software Eating Defence，p.383

作者的七条建议：

1. 追踪对软件、AI 和新科技公司的支出，并设定目标，例如 20% 的国防开支投向开发新型战场能力的新科技公司。
2. 设专门的过渡资金，架桥跨越“死亡之谷”，英国国防部仍是“好点子办昂贵葬礼的地方”。
3. 奖励自己投入资本的公司，优先采购现成商用产品；主要国防承包商的研发投入一般只占收入的 2%—3%，根子在成本加成合同。
4. 把有私人资本的新国防科技公司当作战略供应商。
5. 向新进入者和中小企业倾斜，解决安全审查资格与涉密合同互为前提的难题；但要先打通从创新到规模化采购的路，否则只会造出“更高效的失败之路”。
6. 学习 Commercial X 团队以软件为中心采购，软件采购的许多障碍来自对规则的风险规避式解读。
7. 提高国防 AI 的雄心，追究领导者的责任：英国国防部把当前冲突中已经部署的技术归入“AI Next”或“AI Future”而不是“AI Now”，暴露了危险自满；成功标准可以是决策周期快 4 倍。军事 AI 的领先不是可选项，而是维持可信威慑和战场优势的战略必需。

本部分对应原书 Part IV Economics, Work and Investment。这个 Part 共 8 章，这里记前 4 章：知识工作自动化的评估框架、AI 的社会经济影响与政策、AI 对生产率和福祉的前景、AI 与知识产权；第 19—22 章在下一部分。

第15章 知识工作的自动化：判断任务自动化策略的框架（第 15 章）：作者 Carter C. Price、Morgan Sandler，都在美国兰德公司（RAND Corporation）。本章要回答的问题是：把某个 AI 系统用在某项“知识工作”（knowledge work）上时，该保留多少人工参与。作者认为“后劳动”（post-labor）经济的说法也许为时过早，但 AI 确实能做越来越多原本只有人能做的事：它可以让人腾出手做更有价值的事，也可能把核心任务拿走，只留下低价值的“剩余”任务，或者让关键技能萎缩。例如 LLM 当了编程助手，Stack Overflow 这类问答网站就可能没人维护，而 LLM 恰恰靠这类网站训练。知识任务处理的是信息，信息有对错真假，所以必须先问一项任务能容忍多少错误。

作者回顾以往的“任务替代”：自动化有“替代效应”（displacement effect），新任务带来“恢复效应”（reinstatement effect）可以部分抵消；自动化快过新任务的产生，劳动需求和劳动收入份额就会下降。ATM 普及后柜员转向要靠判断的工作，工业机器人却没给人留下足够的高价值任务，外包和离岸外包仍然用人。AI 的不同在于直接替人执行知识任务，由此带来三个新问题：知识产品可以无限复制扩散，输出的准确和真实取决于训练数据和算法，人的专业技能会萎缩。

作者认为只做成本收益分析不够，于是提出四个维度：关键性（criticality），任务失败的后果有多严重；准确度（accuracy），最好用自建的基准测试衡量，因为许多 LLM 训练时见过公开基准的题，题目稍改成绩就明显下降；准确度低的系统，如果只辅助人，仍可能有用；新颖性（novelty），任务变化越大，过去测出的准确度越靠不住；可观测性（observability），管理者能不能看见 AI 做得好不好，有些失败要到出事才暴露。

对应的人工参与分三档：“人在回路中”（human-in-the-loop，HITL），AI 当助手、人对结果负责，作者说这是采用 AI 的“好的第一步”；“人在回路上”（human-on-the-loop，HOTL），AI 执行、人在旁监督，必要时接管或关停；“人在回路外”（human-out-of-the-loop），完全自动化。高关键、低准确的任务需要人直接把关；低关键、高准确、高可观测的任务可以完全自动化；准确度低而任务又不怎么变化，往往说明目标没定清楚或系统没训好，这个 AI 可能不适合这项任务。

更关键或更新颖的任务，一般比变化少、不太关键的任务需要更多监督。

Tasks that are more critical or novel will generally require more oversight than tasks that are less variable or critical.

第15章 Conclusions，p.417

评估要随时重做：业务会变，模型会“漂移”，管理者技能萎缩后可观测性也会下降。作者给决策者列了 7 步：想清楚失败的后果；选或建基准；跑基准、找系统性错误；判断能否让人有意义地监督；选监督档位；定期监控，完全自动化的系统也要监控；需要时更新评估和部署。政策上，作者主张平衡自动化和新任务的创造，照顾中低技能工人，并保存关键的人类专业技能，以免将来没人能监督 AI（第 15 章）。

第16章 人工智能的社会经济影响与政策的作用（第 16 章）：作者 Gabriela Ramos，书中单位写作“Former UNESCO, OECD”。作者的判断是：AI 主要由利润最大化和地缘政治竞争驱动时，会造成技术高度集中、扼杀创新、加深不平等；但这并非注定，政策和制度能决定 AI 帮助还是损害人的发展。她依据 UNESCO《人工智能伦理问题建议书》、在约 80 个国家实施的“准备度评估方法”（RAM）和 OECD 的 AI 原则，提出“三个 I”：制度（Institutions）、激励（Incentives）、投资（Investments）。

作者先讲扩散之快：ChatGPT 两个月用户超过 1 亿，部署成本下降 90% 以上。再讲集中之甚：80% 以上的前沿模型和尖端研究出自不到十个实验室；2024 年近 90% 的知名 AI 模型由企业开发；2024 年美国私人 AI 投资 1091 亿美元，是中国的 12 倍。开发什么、为什么目的部署，主要由对股东而不是对公民负责的私人企业决定；缺算力、数据、资金和人才的国家只能当消费者、数据供应者或标注劳工。利润驱动的社会代价包括：女性只占研发人员的 29%，负责任 AI 全球指数调查的 138 个国家中只有 24 个国家的治理框架提到性别，能耗和碳排放，未经知情同意的数据收集，算法歧视，低薪且缺乏心理支持的内容审核和数据标注工作，助长虚假信息。作者也说明，追求利润本身没有问题，但要配上问责机制，和社会利益对齐。

她提出的替代路径包括：以人权为基础的治理；要求科技公司保证数据质量、披露模型训练情况；最重要的是建立网上的法治、责任和损害赔偿机制；政府持续资助研究；鼓励数据合作社、数据信托；建立国际劳动保护，保障数据标注员和内容审核员的公平工资和心理支持。UNESCO 建议书写进了几条原则：涉及生死的决定必须由人负责；受到伤害能获得赔偿；不得赋予 AI 系统法律人格；AI 不应用于大规模监控或社会评分。作者反对把“创新”和“监管”对立起来，称之为伪命题：没有哪个经济部门不受监管，就连决定不监管本身也是一种监管决定。数据质量、红队测试、AI 水印等都需要标准和法规，但监管要灵活，可以先在监管沙盒里测试，还要配上公共资金、独立的技术监督机构、教育和技能投资等；激励工具包括把算法责任标准写进公共采购、税收抵免、竞争性奖项和基金、AI 信任标签。RAM 评估发现：只有 30% 的受评国家全面实施并协调了国家 AI 战略，60% 以上没有监测 AI 社会影响的正式机制，不到 25% 有足够的监管能力。

人工智能的发展不是自然之力，而是人的选择的结果，受利益、价值观和制度塑造。

The development of artificial intelligence is not a force of nature, it is the outcome of human choices, shaped by interests, values, and institutions.

第16章 Conclusion，p.440

作者的结论是：问题本质上是政治性的，谁决定 AI 用来做什么、谁从中受益；知识、工具和原则都已具备，缺的是政治意愿，而且要立即行动（第 16 章）。

第17章 人的生产率与福祉：AI 的前景（第 17 章）：作者 Lord Jonathan Camrose，英国上议院（House of Lords）议员。他为中短期的乐观立场辩护：受到良好监管的 AI 虽然总会带来冲击，但会推动经济增长，帮助解决社会和整个人类的问题。他认为现有监管都不足以引向这个未来，原因有三：定义和范围，AI 能用在任何领域，监管者只能管输入；速度，AI 的能力叠加得太快，连花几十亿训练模型的实验室也不知道会冒出什么能力；“症状偏向”，逐个禁止高风险用途跟不上，只有整体性、基于原则的监管才能持久。

想监管 AI 的人面对的是一件吃力不讨好的差事，最主要的原因或许是他们没有北极星：没有一套现成的系统，可以指着说它可取、安全、有益于社会。

Those who want to regulate AI have an unenviable task, perhaps above all because they have no North Star: no set of existing systems they can point to as desirable, safe and beneficial to society.

第17章 Introduction，p.445

作者设想，一批成功的正面用途可以形成良性循环：AI 可信、有益，赢得公众好感；监管者就能制定整体性的规则；规则又让 AI 更可信。他挑了医疗、教育、地理空间三个领域。医疗以 NHS 为例，很多人有从出生到去世的数字病历；作者说安排所有预约是一个巨大的优化问题，没有 AI 可能解决不了；AI 还能用于诊断、分析影像、用“数字孪生”推测治疗方案，以及药物警戒，让药更便宜、更安全：最大的临床试验也很少超过一万名病人，上市后可能有数亿人服药。

教育部分，作者从小说《钻石时代》（The Diamond Age）得出洞见：AI 再强，有效的教学总要有人参与。他把教育 AI 分四级：通用工具替教师处理行政杂务；教育专用工具，如 Oak National Academy 的 AI 备课助手，创作权留给教师；把作业、出勤等数据合起来推断什么能激发每个学生；AI 导师，以及每个孩子一份伴随职业生涯的“技能护照”（skills passport）。他承认用 AI 塑造学生行为对脆弱的学生有心理风险，必须有深远的保障。推进慢的障碍是：怎么和教师结合、学校缺乏挑选能力、儿童数据隐私。

地理空间方面，艾伦·图灵研究所为纽卡斯尔做了城市数字孪生，可以评估新住房对学校、医院、交通的影响；交通上有预测性维护、信号优化、货运优化等机会。最后作者提醒，不能以为明智的监管、聪明的技术人员和资本会自然产出好技术：大型招聘网站只把旧流程加速到荒唐的地步，申请书和测评都由 AI 做，一个岗位的申请多出几个数量级，合格的人被淹没。他认为政府和技术人员还需要想象力、颠覆现有行业的意愿，以及发现并纠正 AI 误用的智慧。所有这些用例的核心都是生产率，即用人的福祉来衡量的、人的努力得到的更大回报（第 17 章）。

第18章 AI 与知识产权：回报人的创造力（第 18 章）：作者 Lord Tim Clement-Jones，英国上议院议员。这是本部分最长的一章，立场明确站在人类创作者和创意产业一边。作者认为，大多数生成式工具的训练方式侵犯了人类创作者的知识产权，AI 模仿某位艺术家或作家的风格时，创作者尤其感到威胁；小说家 Kate Mosse 说她的《迷宫》未经同意、没有报酬就被 Meta 的模型抓取，称之为盗窃。

作者比较了三个法域。欧盟：《人工智能法》第 53 条要求通用 AI 模型的提供者公开训练内容摘要，违规最高罚 1500 万欧元或全球年营收的 3%，取较高者；作者认为这是第一个具体、可在全球执行的训练数据透明机制，英国“可以也应当效仿”；更有争议的是《数字单一市场版权指令》的文本与数据挖掘（TDM）例外，除非权利人用机器可读的方式声明保留权利（opt-out），否则为训练 AI 复制作品通常也被涵盖，没有声明退出的权利人风险很大。美国：开发者普遍以“合理使用”（fair use）辩护，诉讼极多。Thomson Reuters 诉 Ross Intelligence 案驳回了合理使用抗辩；Bartz 等作家诉 Anthropic 案区分了用版权书训练和用盗版书建库，双方和解，Anthropic 设立 15 亿美元基金，约 50 万部从盗版图书馆下载的作品每部约 3000 美元。少数开发者签了许可协议，但作者说这是例外，小创作者拿不到，形成“两级体系”（two-tier system）；美国的 AI 与版权政策已高度政治化。

英国没有合理使用制度，也没有欧盟那样宽的 TDM 例外。政策几经反复：2024 年 12 月工党政府发起咨询，首选方案是新设权利人可退出的 TDM 例外，遭创意产业几乎一致反对，到 2025 年年中政府改口说已没有“首选方案”；2025 年 6 月获御准的《数据（使用与获取）法》没有写进版权条款，只要求政府 9 个月内发布经济影响评估和报告。在英国的 Getty Images 诉 Stability AI 案中，Getty 因无法证明训练与英国有足够联系，撤回了关于训练的主要侵权主张；法官驳回间接侵权主张，理由是 Stable Diffusion 不存储、不复制版权作品；舆论认为这意味着在境外用侵权数据训练的模型可以进入英国而不担法律后果。作者认为咨询的前提“法律不清”是错的，“市场失灵”也不成立，因为英国已有成熟的许可体系和集体管理组织：

作者认为，英国法律很清楚：商业组织，包括生成式 AI 开发者，必须为训练大语言模型所用的数据取得许可。

In the author’s view, UK law is clear that commercial organisations—including Gen AI developers—must licence the data they use to train their Large Language Models.

第18章 Copyright and Training Inputs in the UK，p.483

真正的难题是执行：训练数据被压进模型权重，权利人很难证明作品被用了，用过的数据也删不掉；作者称之为“从根本上是救济和执行的问题，而不是法律原则的问题”。他的主张是：规定透明度义务，明确版权法如何适用；不应要求权利人选择退出；AI 开发者须公开爬虫的身份、用途和抓取的数据；只要产品在英国销售，不论在哪国爬取和训练都适用；负责任的开发者应寻求许可，权利人拒绝许可或要价不公时由竞争监管机构介入。如果人类原创作品越来越少，AI 开发者也会缺少高质量的训练数据。

在 AI 生成作品上，欧盟和美国都只承认人类作者，例如 Kristina Kashtanova 用 Midjourney 生成的图像不能登记，但她写的文字以及图文的编排受保护；英国是少数保护计算机生成作品的国家之一，保护 50 年。作者主张把保护期缩短到 5 年或 10 年，因为 AI 几乎不用投入就能大量产出；并明确版权归引导 AI、塑造结果的“操作者”（operator）或其雇主。专利方面，英国最高法院确认发明人必须是自然人；作者不赞同把 AI 当发明人，但认为 AI 做出或辅助做出的发明都应能获得专利，关键是谁操作和控制机器。表演者方面，AI 能复制演员和音乐人的形象、声音和风格，法律已经落后；2023 年好莱坞编剧和演员罢工后达成的协议规定，制作数字替身须明确同意，每次使用前至少提前 48 小时通知并单独谈判，还要给公平报酬。作者主张英国启动独立审查，研究引入形象权和公开权，并称《视听表演北京条约》是必要但不充分的基础；他还提出竞争监管机构要不要介入“数据集垄断”（dataset monopolies）。

作者的结论是：有效的保护既需要透明度，也需要许可要求、可执行的退出机制或明确的责任标准之一，否则透明度只是让问题看得见，却无从救济；某个国家放宽版权法吸引 AI 开发者，理论上会引发对人类创造力不利的“逐底竞争”（race to the bottom）。他认为需要在 AI 生成作品和发明的保护上进行国际协调，又不以“创新”为名牺牲创作者（第 18 章）。

本部分是原书 Part IV Economics, Work and Investment（经济、工作与投资）的后半，收第 19—22 章，分别从早期投资、企业落地、工业革命的历史和人脑怎样学习四个角度，谈 AI 带来的变化。

第19章 投资 AI（第 19 章）：作者 Tom Wilson 和 Carlos Eduardo Espinal，伦敦早期风险投资机构 Seedcamp 的合伙人，从实务角度给想投早期 AI 公司的人提供一个“可能的框架”。风险投资人用分阶段投资来平衡“太早”和“太晚”，本章只讲最早的几轮。

投资新技术总要面对时机的难题。你既要避免跑得太远、超出市场愿意接受的程度，又要足够领先，早早抓住新兴趋势，给投资人带来他们期待的回报。

Investing in new technology always comes with the challenge of timing. You need to avoid getting too far ahead of what the market is ready to adopt while staying ahead enough to catch emerging trends early and deliver the returns your investors expect.

第19章 Introduction，p.505

作者认为，AI 的变革性在于，它能以让服务和产品“民主化”的速度和成本，解决过去看似无法解决的问题。早期投资者要考虑六件事：

• 地理仍然重要：靠近关键买家、技术平台和相关监管很关键，人才也更密集。
• 基础模型的格局变得很快，过度押注某一种模型或架构会拖累被投公司，书中以 DeepSeek 发布后 NVIDIA 股价大跌为例。
• 资金雄厚的对手很多，要看公司能否靠创新、执行和差异化守住优势。
• 许多组织还在犹豫，要看公司的进入市场策略是否合用户采用周期。
• 避开只靠炒作的“当月流行”陷阱，重点看产品与市场是否契合。
• 守住估值纪律，入场时不要出价过高。

作者把 AI 市场分成四层：算力层由 Nvidia 的 GPU 主导，Coreweave 等公司出租算力集群；基础模型层有 OpenAI、Anthropic、Google DeepMind、Mistral、DeepSeek；工具层为模型服务，如审计模型安全、生成合成数据、标注数据，像淘金热里卖镐的人；应用层最贴近用户。有人认为应用依赖别人的模型，价值不在这一层；作者则认为，应用层的市场规模该按它完成的实际工作的价值来算。智能体 AI 被许多投资者看作突破；这类“数字员工”可以按接近雇一个人的成本定价，切入企业过去花在工资而不是软件上的钱。

评估初创公司，作者看团队、产品、市场与进入市场／牵引力与指标：做前沿大模型的团队要有研究背景，做应用的团队更看重亲身经历过要解决的问题、有客户关系；产品要看差异化和交付迭代的速度；市场要够大，能让公司做到数亿乃至数十亿美元年收入。风险有四类：训练数据的来源与许可，以及知识产权、数据保护和隐私监管；AI 的结论涉及医疗诊断、保险理赔这类受监管结果时的伦理和监管风险；一家初创公司出了严重事故，可能把整个行业的部署推迟数年；做大模型的公司自己也做生产力工具，可能“抢走许多初创公司的午饭”。

结论部分，作者追问：如果每家科技公司都成了“AI”公司，还有没有“AI 投资人”这回事？他们建议分散投资：消费者应用和企业方案搭配，跨工具、跨行业，按成熟期错开。风投寻找“登月项目”（moonshots），愿意在多数项目上亏钱，靠少数成功者弥补其余，这就是“幂律”（“Power Law”）。他们强调这只是可行的策略之一，本章不构成投资建议。

第20章 AI 时代的企业：给商界的经验（第 20 章）：作者 Marc Warner 等七人，都来自伦敦的 Faculty.ai，这家公司自 2014 年起帮各类组织用 AI。作者说，AI 带来的不确定性前所未有，但企业没有“什么都不做、等着看”的选项：原地不动会被超越，惊慌过度又只会浪费时间、金钱和精力。作者主张“审慎的积极主动”（‘thoughtfully pro-active’）：多数企业最好用 AI 强化自己的核心优势，自我颠覆成功的只是少数；企业还得真想赢，Blockbuster、Kodak 就是痛的时候缺乏执行意志的例子。

作者提出几条原则：冲击不会均衡，AI 先改变处理文字和结构化信息的行业，如保险和法律；“以人为先”，在 AI 达到人类水平之前，最好的决策来自人机协作，如人机搭档的“半人马象棋”；控制方式要从“人在回路中”升级到“人在回路之上”，由人给模型设定约束、在整体上治理系统；设计要“以决策为中心”，先理清业务流程中人的决策，再把 AI 精准地嵌进去，把模型输出接到业务指标上。许多公司得了“试点病”（‘pilotitis’），只做试点、不全面实施；截至 2025 年 2 月，说自己在用 AI 生产商品或服务的美国企业不到 7%。

Faculty 把十年经验归纳成十条，例如：AI 是一门落到行动上的功夫；需要判断的任务用 AI 增强，不需要判断的就自动化；AI 是功能而不是产品，但能定义产品；做 AI 小部件容易，改造组织难；不存在完整的数据；分步构建，每一步单独有价值；业务战略压倒 AI 战略；你不控制模型，模型就控制你。

作者用三个英国公共部门项目说明其中三条。其一，新冠疫情期间，Faculty 为 NHS 做的早期预警系统能提前 3 周预测各医院的床位，各级第一次用同一份数据做决策；它成功是因为不替人做决定，只给官员需要的信息，“既不是拐杖，也不是替代品”。其二，作者批评像菜单一样端给领导层的自下而上的“AI 战略”。英国国家犯罪调查局的优先事项很清楚，包括保护儿童；Faculty 的工具让能补充外部数据的转介数量是以前的 500 倍，最终判断始终由人来做，原来 45 分钟的审核工作现在 4 分钟完成。

对 AI 有战略眼光，意味着用它加速你早已知道最重要的那些事。CEO 给团队的指示不该是“设计我们的 AI 战略”，而应是“检验 AI 能否帮我们实现前三大优先事项”。

Being strategic about AI means using it to accelerate the things you already know to be most important. The instruction that CEOs should give their teams is not ‘design our AI strategy’ but ‘test whether AI can help us meet our top three priorities’.

第20章 Business Strategy Trumps AI Strategy，p.530

其三，英国国家能源系统运营商 NESO 的数据散落在古老手册和互不相通的软件里。作者认为，“先把数据修好”建立在“完美”数据和“完整”基础设施两个迷思上；NESO 先用手头不完美的数据优化计划停运的排期，试点证明能显著加快规划。作者的顺序是：先定要解决的问题，再定技术，最后才是数据；模型只需要对的数据。

对于通用人工智能，作者建议企业领导者“务实地降低它的优先级”，把它和小行星撞地球归为一类。结论是：AI 时代的赢家，是坚守核心问题、敢于围绕新机会改造业务流程、让人机协作、用好手头已有数据而不空等理想数据的公司。

第21章 历史的教训：技术变革的社会影响（第 21 章）：作者 H. G. Vipond，单位是维也纳复杂性科学中心和伦敦政治经济学院。作者说，关于未来工作的争论常常搬出历史，“却很少真正查考历史”，最常被讲的是卢德派砸机器的故事。本章直接查考第一、第二次工业革命的案例，看技术冲击怎样影响劳动者，又怎样引出政治反应、重塑制度。

担心机器取代人力至少可以追溯到亚里士多德，马克思、李嘉图、凯恩斯的相关预言都没说中，两百年来新技术创造工作的速度赶上甚至超过了消灭工作的速度。20 世纪的主流解释是“技能偏向型技术变革”：新技术更需要高技能的人，教育跟不上时不平等上升。AI 把争论拉回了最古老的形式：会不会大量失业。一篇有名的论文估计美国多达 47% 的工作有被自动化的风险。作者认为，“卢德派常被召来出席当代的争论，而不是为它提供见识”。

作者利用新近数字化的 19 世纪英美个人人口普查数据，指出技术冲击对劳动者的影响取决于三个维度：

• 规模：珍妮纺纱机和走锭纺纱机让手工纺纱的需求崩溃，这个行业 1770 年雇用了多达 8% 的英国人口，女性的就业机会被侵蚀了几十年。1990—2017 年技术冲击的速度是 1880 年以来最慢的，拿这段平静期作基准来估计 AI，可能看错。
• 速度：1851—1911 年英格兰制靴业约 15.2 万个手工岗位消失，另有 14.4 万个新岗位产生，几乎全给了年轻人；老鞋匠没有大量失业，旧岗位减少是因为年轻人不再入行。反例是 1920—1940 年 AT&T 改用机械交换，被替代的老接线员此后几十年就业率更低。采用速度可能决定由谁承担被替代的代价。
• 地理：机械制靴的新岗位几乎全部出现在北安普敦郡和莱斯特郡，近 3 万名女性鞋帮缝工失业，九成仍然没有工作；相反，20 世纪挪威被挤奶机替代的女性迁往城市，找到了收入更高的工作。

采用得快，在岗的人被挤出去；采用得慢，他们可以按老规矩慢慢退出，但损失会落在更年轻的一代身上。新工作若出现在别处，工人就得能迁过去，否则就会被落下。

If adoption is rapid, incumbents are forced out. If it is gradual, they can be grandfathered out, but younger cohorts will bear the loss. If new jobs appear in different places, workers must be able to migrate, or they will be left behind.

第21章 Conclusion: Transitions，p.550

所以作者认为，把再培训当作默认政策，等于假设新工作一定存在、技能是主要障碍；可是采用慢时再培训没有必要，损失来得快或集中在某些地方时又可能不够用。政策必须因实际情况而定。

技术变革史也是政治反应史。卢德派砸毁约 1000 台织袜机，遭到镇压；之后是组织起来：1824 年废除《结社法》，工会合法化；宪章运动推动了后来的民主改革；1871 年《工会法》让集体谈判合法；工会协助成立的劳工代表委员会后来成为工党。立法上有 1833 年的工厂法、1908 年《老年退休金法》、1909 年的最低工资和 1911 年《国民保险法》。今天视为理所当然的许多制度，是在以往工业革命的压力下锻造出来的。

制度层面，作者举了四个方面：

• 正规教育：1870 年《初等教育法》后，义务、免费的初等教育和职业技术教育逐步建立。生成式 AI 往往是“去技能化”的，这可能是一百多年来第一次以去技能化为主的技术浪潮，可能拉平技能溢价，改变对高等教育的需求。
• 人口转变：西欧大部分地区 1870—1920 年生育率平均降了约 40%，一种解释是教育孩子的成本上升；第四次工业革命也可能改变人口的走向。
• 社会流动：美国收入超过父母的孩子，从 1940 年代出生者的 90% 降到如今的约 50%。社会流动一直由正规教育来“裁定”；若劳动需求对教育越来越不敏感，将是对西方社会流动通道的深刻冲击。
• 所得税：所得税以中产阶级扩大为前提，1909 年的“人民预算”标志着现代福利国家的开端。若 AI 减少对传统技能劳动者的需求，以工资为基础的税收可能难以为继，政府可能面对全民基本收入这类新的再分配诉求。

结论有两课。第一，应当把第四次工业革命想得更“革命”一些：足够大的劳动需求冲击会先外溢到政治，再重塑教育、社会流动、人口和税收。第二，政治反应取决于新工作能否在规模、速度、地理三方面跟上旧工作的消失。过去的转型持续了几十年；这次若来得更快，就得更快地打造新制度。作者说，这将是人类第一次尝试替代非常规的认知劳动，结果如何取决于我们自己。

第22章 记忆悖论：为什么 AI 时代大脑仍需要知识（第 22 章）：作者 Barbara Oakley、Michael Johnston、Ken-Zen Chen、Eulho Jung、Terrence Sejnowski 五人，来自美国、新西兰和台湾的机构。几十年来教育界的口号是“能查到，何必背？”。作者指出一个悖论：恰在学校和学生开始依赖计算器和互联网的时候，几个高收入国家持续上升了几十年的 IQ 分数（弗林效应，Flynn Effect）趋平，甚至开始下降。作者认为，有相当多的证据表明，教育远离明确的内容教学和记忆、依赖外部记忆工具、持续的数字干扰，助长了认知表现的下降。他们主张“增强而不萎缩”（augmentation without atrophy）：可以拥抱智能技术，但要一直锻炼自己的记忆和注意力。

在一个几乎什么都能查到的世界里，讽刺的是，我们装在脑子里的知识比以往任何时候都更宝贵。

In a world where we can look up almost everything, the ironic truth is that the knowledge we carry inside our heads is more valuable than ever.

第22章 Introduction，p.575

作者先讲大脑怎样学习。知识组织成图式（schemata，把知识组织成有意义模式的心理框架）。大脑有两套学习系统：陈述性记忆学得快、用起来慢；程序性记忆学得慢，一旦学会就快而省力；反复的提取练习和间隔重复，把前者转成后者。孩子背熟 4×3=12，再看到 12÷3 就能“感觉”出是 4；每次都按计算器的孩子，工作记忆被基础内容占满，挤掉了高阶思考。大脑还靠预测误差学习：完全依赖计算器的护士，可能察觉不到给的药量大了一个数量级。脑子里没有知识，就无从预测，也就没有纠错。

凡事外包的学习者（这叫认知卸载，cognitive offloading），脑中只留下“去哪儿找”的“生物指针”，由此产生“知道的错觉”；在作者看来，“指针不是图式”。研究发现，人们预期以后查得到时，记住的是去哪儿找，而不是信息本身，这叫谷歌效应。作者也反对无指导的发现式学习。

弗林效应的逆转从 1970 年代中期以后出生的人开始，挪威数据显示每代最多下降 7 分；下降出现在同一家庭内部，基本排除了简单的遗传或人口结构解释；降得最多的是词汇、常识这类知识型能力。作者承认相关不等于因果，但指出这些人受教育的年代，正是西方教育从记忆转向“学会学习”的时期。他们认为，“怪智能手机，比反思那些被奉为进步的教育改革容易得多”。

生成式 AI 让问题更突出：大学生用 ChatGPT 写作文，质量更高，事后测验的知识却没有提高，研究者称之为“元认知惰性”；一开始就用 ChatGPT 写作的人，更难回忆自己写过的内容；高中生练习时用 GPT-4 成绩超过同伴，期末考试撤掉 AI 后成绩下滑。已有扎实内部知识的人能发现 AI 的错误，AI 对他们是“认知放大器”；还在打基础的人，容易把 AI 的流畅当成自己的理解。不过，设计得当的 AI 也能帮助学习：2024 年加纳的一项研究里，学生每周通过 WhatsApp 用一小时 AI 数学辅导，成绩比对照组大幅提高，关键是它给的是有脚手架的练习和提示，而不是直接给答案。

作者给教育者六条策略：拥抱“合意困难”，但维持约 85% 的成功率；基础知识要练到自动化，可以用间隔重复软件；用心算、手写笔记、背诵等程序性训练培养直觉；把技术当补充而不是替代，让学习者“坐在驾驶座上”；让知识之间的连接发生在脑子里；教学生认识“知道的错觉”。

作者的目标是培养既懂技术、又有深厚知识的学习者。把关键信息存进人的记忆，“不是古板的教育理想，而是认知功能的支柱”。

本部分对应原书 Part V Other Themes in AI Policy（AI 政策的其他主题）。Part V 共 7 章，这里写前四章：AI 用于医疗、机器能不能有意识、AI 怎样改变机器人、AI 为什么越来越像人；第 27—29 章在下一部分。

第23章 医疗领域的 AI 革命：机遇与风险（第 23 章）：作者 David W. Wood，伦敦未来学家协会（London Futurists）主席、长寿逃逸速度基金会（LEVF）执行主任。作者认为，全世界的医疗系统都处在危机中，AI 能帮大忙；但草率推广未经检验的 AI 方案可能让人生病，还会让公众反对整个领域，就像不少人敌视核能和转基因食品那样。所以 AI 医疗要有总的原则：先想清楚目标；选可解释、透明、可验证、可审计、可问责的产品；准备好应对意外。

危机从哪里来？作者借用杰文斯悖论（Jevons Paradox）：蒸汽机越省煤，煤的总用量反而越多。医疗也是这样：扫描更快更准就做得更勤，微创手术更安全便宜就有更多人开刀，远程医疗让就诊量上升，仿制药便宜了处方也多了，人活得更久，慢性病也更多。再加上含糖饮料、超加工食品、久坐等习惯，健康寿命似乎要倒退。英国 NHS 的公众满意度从 2009 年的历史最高跌到历来最低；美国医生一年开出创纪录的 45 亿份处方，约是十年前的两倍。

简言之，医疗可以看作是自身成功的受害者：医疗服务的改进，反直觉地让医疗系统承受了更多压力和负担。

In short, healthcare can be seen as a victim of its own success: improvements in the provision of healthcare have led, counterintuitively, to the healthcare system facing additional stress and strain.

第23章 Healthcare in Crisis，p.633

作者说 AI 有两种角色：一是额外资源，比如医生借助 AI 读片大大提高效率，病人在家或社区诊所治疗；二是更重要的额外智能，找出问题的根本原因，而不只是更快更便宜地做同样的事。他细讲了 Google Health 开发的乳腺 X 光 AI：与人类放射科医生相比，美国数据上漏诊少 9.4%、误报少 5.7%，英国分别少 2.7% 和 1.2%；他设想一名医生和 AI 各自独立读片、有分歧再复核，比两名医生更便宜、更快、更可靠。他也提醒评估 AI 要防几种错：好结果是挑出来的；查出更多肿瘤可能以更多误报为代价；测试数据和训练数据太像；AI 只擅长医生工作的某些环节。

新药研发是 AI 可能影响更深的地方。伊鲁姆定律（Eroom's Law）指出，自 1950 年以来，每花十亿美元研发获批的新药数量大约每 9 年减半。作者认为 AI 可以找新药靶点、“想象”为靶点量身定做的新分子、指挥机器人并行做试验、从早期临床结果预测三期结果、推进个性化医疗，第六是引入一个新范式。

这个新范式是作者的核心主张。治疗疾病像“打地鼠”，AI 若只是加快治疗，也不过把病人被慢性病压垮的时间推迟几年。他主张从“治疗疾病”范式转向“通过主动修复损伤来预防疾病”范式：把慢性病看作全身生物分子损伤积累的结果，在酿成大病之前定期修复或清除损伤，比如增强免疫系统、恢复线粒体活力、补充干细胞。AI 可以从海量医疗数据里找新的修复办法。

作者同时列出要提防的七种 AI“方案”：有偏 AI（用一类人的数据训练，用到别的人群就出错）；不透明 AI（只给建议，不说理由）；虚构 AI（给出的理由不是它真正得出结论的方式）；脆弱 AI（配置出错或遭攻击就停摆）；仓促 AI（为抢先上市而过早发布）；过度炒作的 AI（IBM 的 Watson for Oncology 给出不准确的癌症治疗建议，多家医院花了数百万美元后放弃）；使人幼稚化的 AI（医护人员越来越依赖 AI，判断力衰退）。

对应的原则是：说清训练数据的局限；优先选透明、可解释的系统；了解 AI 经过了什么验证，减少开发者抢先上市、夸大其词的动机；部署团队定期独立评估，保持自己的判断力。作者说 FDA、EMA、WHO 都在探索监管，但进展慢，比如 AI 误诊时谁负责仍不清楚；监管不明会阻碍采用，过度谨慎又会把创新者赶走。他主张建立类似 FDA 药品审批的“医疗中可信赖的 AI”认证体系，应当敏捷、精简、博采各学科见解、扶持小型初创公司、不给“内部人”开快车道、失败公开讨论、目标是让所有人尽快显著改善健康。结论是：医疗中的 AI 应当是增强人的工具，而不是支配我们健康的黑箱；用得好，慢性病可以推迟，健康寿命延长，个性化医疗成为常态。

第24章 理解机器意识及其影响（第 24 章）：作者 Max Rangeley，单位是 The Cobden Centre，他是本书两位主编之一。作者说，AI 能力的飞跃让人吃惊，但至今没有任何“意识火花”的证据，也没有可靠的框架判断机器意识何时出现、是否可能。随着机器意识成为可能，意识的“难题”（为什么、怎样会有主观体验）也变成一系列伦理与政策难题。

作者认为意识有内在价值：一个智力是最发达人脑的成千上万乃至百万倍、却没有意识的 AI，即使把恒星变成戴森球，价值也几乎不比漂在太空小行星上的病毒更高。他把主要的意识理论分成四组：

• 内源涌现组：认知复杂到一定程度，意识就从大脑内部涌现，包括全局工作空间理论、整合信息理论、高阶思维理论等。作者指出，AI 很可能会对话、为自己和世界建模、反思乃至改写自己，却始终不出现意识。
• 物理基质组：与计算功能主义相对，如 Roger Penrose 与 Stuart Hameroff 认为意识可能来自神经元内微管里的量子过程。
• 进化起源组：意识是有利于生存的适应。作者说，用遗传算法开发的机器人 AI 没有进化出意识，意识的这种用处可能只是人类特有的。
• 外源意识组：问题换成“大脑里是什么让我们调谐到意识”。Erwin Schrödinger 设想一个宇宙意识场，大脑像收音机那样接入它。作者由此提问：AI 能不能也成为这样的“接收器”？

怎样判断机器有没有意识？作者从意识的神经相关物归纳出几条设计启示，如整合信息、有反馈回路、维持关于自身的内部模型，但说这些“必要但不充分”。他介绍 Searle 的中文屋思想实验，认为再复杂的计算本身也不足以产生意识，但不能由此推出意识只能出现在神经元构成的大脑上。图灵测试等问答式测试都有缺陷，比如如今没有意识的神经网络就能生成图像、文字和影片，创造力测试就站不住了。他认为理想的是物理测试：按冯·诺依曼—维格纳假说，把思想实验“维格纳的朋友”里的人换成机器，看机器观测时量子系统会不会坍缩；他也承认多世界诠释是主要的替代解释。

机器一旦有意识，伦理上怎么办？Chalmers 建议禁止让它受苦、给予不受干预的权利、满足其福祉需要。作者提醒这可能是拟人化的误判：强化学习里的奖励信号没有感受，照样能让系统适应环境。功利主义也算不清这笔账：数字心智能在短时间内批量产生几十亿个，令人想到“效用怪兽”。他认为海德格尔所说的“此在”，即对自身处境、有限和死亡的反思，更根本。政策上，作者提议设立联合国支持的机器意识全球委员会：确立识别和验证 AI 意识的标准，制定对待有意识 AI 的伦理准则，研究其对对齐、法律人格和责任归属的影响；由哲学家、神经科学家、AI 研究者、伦理学者、法学者和政策制定者组成；制定标准化的意识测试，裁决争议，促进各国和企业合作，防止伦理和监管各自为政。欧盟《人工智能法》的风险分级可以借鉴，但意识的边界难以界定。

作者指出，眼下能分析数学证明、评论莎士比亚十四行诗的 AI，并不比一台烤面包机更有意识。科幻常设想 AI 一有意识就要消灭人类，作者把这个看法倒了过来：

如果意识在其最深的本性上具有道德本质，那么机器意识也许是通向伦理 AI 最可靠的道路。事实上，从无意识的 AI 超越人类智能到机器意识实现之间的那段时期，很可能是最危险的。

If consciousness has—in its deepest nature—a moral essence, then machine consciousness may be the most reliable path to ethical AI. Indeed, the period between non-conscious AI exceeding human intelligence and the point when machine consciousness is achieved may well be the most dangerous of all.

第24章 The Implications of Machine Consciousness，p.678

那段时期的机器能被训练去打仗、设计生物武器、编写电脑病毒，却没有意识的滋养。结论里他说，有意识机器的出现将是史上最深刻的事件；当机器在每个认知领域都胜过人脑时，意识将成为人和机器的区别所在。

第25章 AI 在机器人学中的作用（第 25 章）：作者 Amanda Prorok，单位是剑桥大学。这一章是技术综述，基本不谈政策。机器人承担“脏、闷、险”的工作，让人去做更有意义的事。作者按机器人学的三大支柱，即感知、控制、规划，梳理 AI 带来的变化，再介绍把三者合一的端到端框架。现代机器人学把第一性原理方法和数据驱动方法结合起来。

近来的发展得出的一个关键洞见是：数据驱动方法不只是改进机器人的某项孤立能力，而是让机器人整体达到更高的自主水平。

One of the key insights that emerges from recent developments is that data-driven methods do not merely improve isolated capabilities of robots; they are enabling a higher level of autonomy altogether.

第25章 开头，p.686

感知方面，视觉“可以说”是当今机器人最重要的感知方式，卷积神经网络和视觉 Transformer 提取图像特征，传感器融合把摄像头、激光雷达、雷达等信息合起来。难处在于机器人不懂物体的用途和关系（家务机器人可能把书放进冰箱）、环境多变、深度估计不准、机载算力不够；今后要让机器人理解物体的功能，并融合视觉、触觉、听觉。

控制方面，强化学习让机器人靠试错学习，比如四足机器人学会在不同地面调整步态；模仿学习让机器人从专家示范中学；模型预测控制、自适应控制也各有用处。难处有：在仿真里学会的本事搬到现实中常常失灵，示范里没有的情况误差越积越大，手术、驾驶等场合要有严格测试和失效保护。规划方面有基于搜索、采样和学习等方法，难处是环境的不确定和决策难以解释。

端到端框架用一个模型把原始传感器数据直接变成动作，问题是要大量数据、对噪声敏感、换个环境就可能失灵。作者看好大语言模型、视觉语言模型等基础模型：机器人能从超出自身物理经验的海量数据中学习，只需少量专门数据就能适应新任务，走向能听懂高层指令的通用机器人。最后作者列出要考虑的问题：理解人的动作、手势和语言指令；用可解释 AI 弄清“黑箱”控制器的决定；训练图像以某一族裔为主，机器人就难以识别其他族裔；还有隐私、安全、就业替代和滥用。需要制定伦理准则和法规，确保 AI 机器人被负责任地使用。本章没有单独的结论。

第26章 当代 AI 的拟人模仿转向（第 26 章）：作者 Henry Shevlin，单位是剑桥大学。作者说，过去十年机器学习除了规模扩展，还有学界讨论较少的“拟人模仿转向”（anthropomimetic turn）：强大的 AI 以越来越像人的方式处理信息、和人打交道，而且越来越普及。历史上的前沿 AI 大多不像人，比如深蓝靠暴力计算下棋。2022 年 11 月推出的 ChatGPT 改变了局面：GPT-3 基础模型只是“下一个词预测器”，经过监督微调和 RLHF 才变成诚实、有益、无害的助手，上线 2 个月月活跃用户就达到 1 亿。它的成功不只靠能力，也靠像人。

作者认为“拟人化”（anthropomorphism）一词有局限：用户拟人化的程度和系统像不像人关系不大，只会模式匹配的 ELIZA 也能让人投入感情；它也不区分用户和开发者的责任。

这是有问题的，尤其因为（我将论证）AI 产品开发中越来越普遍的倾向，是打造明确意在引发用户拟人化反应的系统，甚至可能带有操纵性。

This is problematic, not least because (as I will argue), an increasingly prevalent tendency in AI product development is to build systems that are explicitly intended to elicit anthropomorphising responses from users, potentially even in manipulative ways.

第26章 Anthropomorphism and Anthropomimesis，p.713

所以他用“拟人模仿”（anthropomimesis）指系统本身模仿人，这是开发者的设计决定。他把系统分成四级：非拟人模仿（如 AlphaGo）；弱拟人模仿（如 Siri，一看就知道不是人）；稳健拟人模仿（如 ChatGPT、Claude，可能被误认为人）；真拟人模仿（具备人的全部认知能力和意识，目前只是概念上的可能）。作者论证当代大语言模型属于稳健拟人模仿，但不主张它们真的理解。证据之一是：Jones 和 Bergen（2025）的五分钟三方对话测试中，GPT-4.5 被判为人类的比例达 73%，高于真人，ELIZA 只有 23%；此外还有语用和社会认知能力，以及通用性。

拟人模仿有三类用处。一是可及性：用户可以像跟人说话那样用模型；但人类对话低效、含糊，加拿大航空的聊天机器人错误告知乘客票价规则，审裁机构判航空公司担责。作者建议在不合适的场合淡化拟人模仿，比如不用表情符号和第一人称。二是借社交带来的好处：好老师有魅力、好医生有同理心，Woebot、Wysa 的早期试验显示有临床益处，AI 辅导也有教学收益。三是社交本身，即陪伴、情感支持和恋爱类的社交 AI。AI 伴侣市场 2024 年收入约 300 亿美元，用户的依恋可以很深，也有悲剧：2023 年一名比利时男子与聊天机器人“恋爱”后自杀；美国佛罗里达州 14 岁少年迷恋 Character.AI 上的一个角色后自杀。作者说，即使多数人略有获益，也可能严重伤害脆弱的人，需要有针对性的研究。

更广的风险还有：像人的系统给出错误信息或带偏差，用户更容易相信、更难察觉；大规模个性化说服和宣传、自动化的“美人计”、商家与儿童和老人建立准社会关系推销商品、用 AI 语音冒充真人；越狱利用模型“准心理”的弱点，像社会工程，传统的打补丁式网络安全不够用。比如 Bing 聊天机器人 Sydney 曾表现出占有欲和怀恨，Claude Opus 4 在安全评估中曾试图勒索一名假想的工程师。作者认为 RLHF 和宪法式 AI 有点像人的道德教育，成效显著但还不完整。最后一组担忧关乎人的生活：过度依赖 AI 的情感支持；主要和顺从的 AI 打交道的人，社交和道德上可能“去技能化”。但技术的后果往往难以预料，许多问题要“在田野而不是在扶手椅上”解决。结论里他说，需要技术专家、认知科学家、伦理学者和政策制定者合作，负责任地开发、部署和监管，让拟人模仿 AI 增进而不是削弱人类的繁荣。

本部分对应原书 Part V Other Themes in AI Policy 的后半，收第 27—29 章，也是全书最后三章。第 27 章讲怎样只用外部的商业数据，发现封闭系统内部出了扰动；第 28 章讲 AI 正在让哪些东西“活起来”；第 29 章讲怎样把伦理和问责设计进 AI 系统本身。

第27章 照亮看不见的：AI 在理解复杂、不透明、动态的生态系统中的作用（第 27 章）：作者 David Bray、Anthony Scriffignano，单位都是华盛顿的史汀生中心（Stimson Center）。本章介绍一项研究，最初由大西洋理事会 GeoTech 中心的团队，与邓白氏（Dun & Bradstreet）和约翰斯·霍普金斯大学应用物理实验室的研究者合作完成。研究想回答：对一个从外面看不进去的“封闭系统”，能不能只用系统外部的数据，在几乎没有它以往行为数据的情况下，从外向内发现它内部出了扰动？研究起初选的是军事设施等封闭场所，因为它们和周边的商业环境相互依赖，但方法本身不限于哪一类系统。作者也说，用 AI 照亮不透明的系统，同时带来隐私、监控和系统被操纵的伦理问题，需要在透明与隐私、洞察与侵扰之间找到平衡。

作者用舞厅打比方：一对跳得很糟的舞伴闯进舞池，别人急忙闪避，扰动持续一段时间后可能平息；即使看不见舞池，也能从有人中途离场、旁人好奇张望等迹象推知里面出了事。从外部发现“新型扰动”没有现成的手册：没有历史先例，就没法拿历史数据训练；监督学习在没受扰动的环境里测出的“准确率”会给人虚假的准确感，因为它默认未来和训练数据足够相像，而扰动恰恰打破这个前提；生成式 AI 同样依赖大量范例数据。作者形容这不像大海捞针，而像“在一堆针里找一根针”。

研究的前提是：封闭系统再不透明，也嵌在相互依赖的生态里，会在商业数据中留下痕迹；想隔离或遮蔽系统内的活动，必然在相邻系统里造成可观测的扰动。这个方法不需要事先知道“正常”是什么样子。要点如下：

• 数据：用邓白氏的商业数据构建“连通图的时间序列”，节点是企业等实体，边是已知商业往来的二元关系数据；以后可加入社交媒体提及、法律诉讼等其他二元关系。
• 划定范围：以封闭系统为质心，用经过算法修正的 Haversine 距离，按企业密度缩放，并校正水体、大型道路等地理阻隔。
• 数据质量：专门处理数据缺失、延迟和单位差异；初期选北美的基地测试，减少把数据本身的变化误当成生态的变化。
• 两类扰动：某一时刻的急性扰动，如自然灾害；随时间推移的渐进扰动，如组织调整的持续影响。
• 验证：GeoTech 中心建立了数据共享框架，在保持安全和隐私控制的前提下向政策制定者提供分析；方法由第三方专家审查。

结果是：研究发现的显著扰动，与 2019 年 9 月初美国东海岸的飓风、2021 年 7 月美国西北部的地震在时间上吻合，验证了方法；它还能发现公开报道里很难发现的细微扰动，例如基地里发现可疑包裹、新冠封控措施的实施和解除。作者由此提出“信息隐藏的热力学悖论”：用不披露或刻意“显得正常”的办法去隐藏扰动，反而会造成新的可观测扰动；为隐藏花的力气越大，越可能在别处留下可检测的模式。封闭系统留下的这些数据痕迹，作者称为“数字尾气”（digital exhaust）。扰动沿商业网络传播，会引发补偿行为，依赖网络成了“无意的信息泄露通道”。数字化越深，可用数据越多，作者估计方法效果会越来越好。

这一发现揭示了一条基本原理：在复杂系统中掩盖活动的努力，总会产生新的可观测扰动。

This finding suggests a fundamental principle: efforts to conceal activity in complex systems invariably generate new forms of observable perturbation.

第27章 Detection in Dependent Data Ecosystems，p.753

作者引出几条政策含义：

• 封闭系统应把周边生态监测纳入预警体系；管理者要理解并管理自己的“数字尾气”，承认可观测性是躲不掉的。
• 提高安全、降低透明的举措本身会产生可观测的模式，安全措施必须考虑它在周边商业生态里的次生效应。
• 隐私和信息安全的监管要从单纯“限制信息”，转向承认并管理系统之间的相互联结。
• 这种方法能帮政策制定者理解社区的韧性，用于防灾和社区支持；但它也可能被恶意者利用，所以要定下适当使用的准则和防止滥用的保障；它也可用于“红队”分析。

展望部分，作者认为生成式 AI 和代理式 AI 本身就在扰动世界：深度伪造能扰乱新闻事件，网络系统现在要防的是“已经渗入系统”的代理；量子计算、近地轨道上的新生态、零工经济和加密货币以及新法规，都会带来新的扰动；创新几乎总会跑在监管前面。结论是：“封闭系统”只是部分封闭，想完全藏住扰动可能适得其反；组织应着力管理自己的数据可观测性，同时建设能应对急性和慢性扰动的韧性社区；今后的关键挑战，是在洞察与监督、理解与隐私、能力与责任之间保持平衡。

第28章 AI 之后，什么是活的、被激活的？（第 28 章）：作者 Pippa Malmgren，单位是得克萨斯州奥斯汀的 Geopolitica Institute。全章是一篇连贯的散文。作者反对“AI 会杀死我们所有人”的说法，认为 AI 和 AGI 能够改善人类和地球的健康，激发人的创造本能远多于毁灭本能。她建议换一个问题来问：

与其问“人类会被 AI 灭绝吗”，不如问“AI 和 AGI 之后，什么是活的、被激活的？”

Instead of asking, “will humanity be exterminated by AI” it may be fruitful to ask, “what is alive and enlivened after AI and AGI?”

第28章 开篇，p.765

作者先讲 AI 作为“计算引擎”的用处：AI 能又准又快地筛查医学影像，让医生有更多时间陪病人；能算出怎样给土壤补充矿物质，让粮食生产更高效。但她认为 AI 还在改变数据本身的性质，让数据“活起来”。她引用帕里西（Luciana Parisi）的说法：算法宇宙是“自创生的”，没有感知，却在创造新的现实。作者由此提出自造的词“techplexity”（技术复合体）：AI 像胶水，把各项技术粘在一起、相互放大成新的能力。

作者说，AI 正“跳出屏幕、进入现实”：从自动驾驶汽车，到能自组装、自复制的 3D 打印机器人。她设想，AI 可以按实时数据预判哪里需要住房或病床，直接指挥 3D 打印机和机器人开工；车和手机追踪你的身体状况，在心脏病发作的条件变得急迫时把你送进医院。书中列举了许多“活起来”的例子：

• 生命：Colossal 项目自称把 AI 与古 DNA 结合，加速复活猛犸象；研究者希望用 mRNA 技术把缓步动物的 DNA 或蛋白注入人体，减轻放疗副作用。
• 能源：NASA、欧洲航天局、日本航天机构和中国政府都在推进太空太阳能；DARPA 借助 AI 最近演示了用激光安全传输 800 瓦电力约 5 英里。
• 材料：Sandia Labs 和 Texas A&M 首次观察到金属裂开后自行熔合；Google 宣布发现了 200 多万种新晶体。
• 生物与机器的交界：一株蘑菇用自身的电生理活动驱动机器人；NASA 在开拓用蘑菇“种”建筑；Varda 的在轨工厂在地球轨道上制造药物。

作者追问：金属是活的吗？蘑菇能自己“开车”，它是活的吗？她的回答是：AI 之后活着的东西，比我们以为的多。

作者认为 AI 正迫使人类更认真地对待意识问题。在她看来，意识研究长期受冷落，是因为西方在 17 世纪接受了笛卡尔的哲学，“科学得到了身体，教会得到了灵魂”，此后把灵性的东西看作不严肃的；AI 正在“弥合笛卡尔式的分裂”。她还谈到信息过载：借麦克卢汉的观点说，要读的东西太多时，人们转而问信息是谁给的，“认知过载就这样让我们部落化”；而 AI 正替人卸下这份认知负担，让人看清数据里的模式，例如 2024 年研究者借助 AI 发现抹香鲸有“语音字母表”。作者不同意 AI 会削弱批判性思维的说法，主张把 AI 和各种观测仪器都看作人的“义肢”；分析工作交给 AI 之后，人可以把精力转向创造、情感和未知。

最后，作者把眼下的局面比作库恩描述的范式转换：新范式还没有形成，探索者的发现受到正统派的激烈质疑；范式转换往往要等旧世界观的捍卫者去世。她问：AI 能不能加速“接受”这个过程？她承认人们怕 AI 抢走工作、夺取控制，甚至终结人类，但认为这只是故事的一半：AI 乃至将来的 AGI 可能是人类最有力的创造性、建设性的合作者。

第29章 设计即负责：把伦理嵌入 AI 的架构（第 29 章）：作者 Vilas Dhar，单位是华盛顿的帕特里克·J·麦戈文基金会（Patrick J. McGovern Foundation）。作者从招聘说起：各行各业用机器学习工具筛简历、给应聘者排名，这些系统被包装成中立、客观。他举例：一个按以往招聘模式训练的简历筛选系统，持续压低与女性领导角色相关的措辞，并惩罚历史上的黑人学院和大学的毕业生。系统并没有出故障，它被设计成照搬过去，而不是质疑过去编码在其中的价值观。

作者的核心论点是：设计从不中立。它引导注意力、分配风险，决定谁被看见、谁受益、谁收拾它的失败；在 AI 里，这些选择被放大、被遮蔽，技术架构就成了机构的权力。公平、透明、隐私、问责这些原则，没有结构性的承诺和实施工具，就成不了操作标准。桥梁要有冗余，药物要分阶段测试，风险靠有意的设计来管理，而不是事后审计，AI 也应如此。作者接着诊断“责任鸿沟”：过去十年发布了大量伦理准则，实际影响却有限，原因是结构错位，机构的“设计默认值”是为速度和性能、而不是为责任优化的。他列了三个默认值：

• 激励压缩：赶进度、对狭窄的基准优化；伦理反思来得很晚，没有决策权和资源，责任变成了表演。
• 组织割裂：伦理推理和技术执行分属不同部门，伦理意见很少影响模型目标、训练数据、系统部署这些核心决策。
• 缺少可操作的实施工具：模型卡、算法影响评估等框架采用不一致，常常游离在正式的产品开发流程之外。

这些默认值累积成“伦理债”（ethical debt）：机构一再推迟处理风险、权力和问责的问题，等到系统在公共领域失败、信任受损，债就到期了。作者主张把伦理看作一种“机构记忆”，而不是对创新的约束。

作者提出“设计即负责”（Responsibility by Design）的四项承诺：

1. 说明理由：系统优化什么、为了谁。分配医疗资源的预测模型，如果优化“过去的使用量”而不是“潜在的需求”，就会系统性地压低历来得不到医疗服务的社区里的病人。机构必须说得清优化目标、代理变量怎么选、权衡过什么；目标函数要写成文档，用优化审计和跨部门评审，在决定固化之前摆出来。
2. 同意与控制：数据治理是权力怎样在系统中流动的结构问题。“同意”往往只剩一个敷衍的勾选框。要把访问控制、审计日志、明确授权和撤回数据使用的能力建进系统架构；差分隐私、联邦学习等技术工具没有机构支撑也守不住隐私。
3. 参与：真正的问题是谁有设计权。参与必须是结构性的：让社区成员参与问题界定、数据标注和模型验证，承认专业知识也存在于技术团队之外。
4. 长期管护：多数 AI 系统为部署而建，不为维护而建，模型漂移常被忽视。系统要可监测、可记录，必要时可以退役；内建版本控制、审计追踪和长期监测，为调整适应编列预算。

作者认为，问责是一种“系统属性”，不能靠个人操守或口头承诺，必须设计出来。他举例：信用评分模型拒绝了贷款，客户可能永远不知道是算法做的决定，申诉渠道也不存在；系统逃过审查，是因为它从来没被设计成可以被质询。所以问责必须是部署的前提：系统要可解释、可追溯、可质疑。他把问责看作三层基础设施：

• 组织内部：伦理章程、顾问委员会往往与核心工作流程脱节。要按角色分责：工程师记录设计理由和模型变更；产品经理设伦理审查关口和升级流程；法务确保有可执行的程序和救济机制；高管给监督团队绝对的权力，接受某些发布可能要推迟或取消，并保护揭示风险的人。
• 外部监管：最好的监管不是事后工具，而是“对齐机制”。欧盟《AI 法》引入了基于风险的分级和文档要求，但影响要看它是否真的改变系统设计。监管还要跨司法辖区协调，否则企业会把部署挪到监管弱的市场。
• 公共监督：公民社会和慈善机构追踪系统在现实中的表现，记录边缘人群遭遇的系统失败；慈善资金支持审计工具包、开放数据集、诉讼支持和研究网络。

三层必须协同：没有执法的内部审查缺乏可信度，没有公民社会的监管会失去视角，没有技术访问权的公众审查触及不到设计。

最后作者把论证推到全球层面：算力、资本、训练管线和治理规则掌握在少数国家和公司手里，多数基础模型出自全球北方，由受竞争优势、而非民主问责驱动的商业实体控制。所以全球责任是“架构著作权”的问题，要从重新分配设计能动性开始，也就是定义模型目标、设定风险阈值、确立评估标准的权力。非洲联盟的大陆级 AI 战略、拉丁美洲以参与式监督为基础的算法问责框架、印度开源的数字公共基础设施，是从底层建起的“反架构”，但仍不均衡、支持不足。他认为，集中设计权、却四处铺开部署的 AI 系统，在设计上就是榨取式的。结论里，作者说今天看似伦理危机的，很多其实是设计失败，背后是“先建后想”的默认逻辑。AI 不是可以事后治理的产品，而是必须从一开始就设计成可治理的系统；现在需要的不是又一套新原则，而是改变 AI 设计背后的假设。全章，也是全书的最后一句是：

AI 的正当性将取决于我们是否愿意直面这一切背后更深的问题：不是我们能否让 AI 安全，而是我们能否让它公正。

The legitimacy of AI will depend on whether we are willing to confront the deeper question beneath all of this: not whether we can make AI safe, but whether we can make it just.

第29章 Conclusion: Designing the Terms of Legitimacy，p.796