《人工智能时代与人类价值》

从核武器到 AI（前言）：弗格森说，基辛格常被称作“好战者”，其实一生致力于防止第三次世界大战。《核武器与对外政策》开篇就估算了苏联全面核攻击会死多少人。他也不是和平主义者，认为削减核军备和核查都不大可能避免核战争，关键在于想出毁灭力小于全面核战争的办法。1968 年他就设想过用计算机帮决策者处理海量信息，当上尼克松的国家安全事务助理后想要一台自用，被中央情报局驳回。弗格森认为全书最震撼的是对 AI 武器竞赛的思考，并借核能史得出结论：

技术进步的后果既可以是良性的，也可以是恶性的，这取决于人类共同决定如何利用技术进步。

前言

理性的边界（序）：施密特和蒙迪说，基辛格首先是一位历史哲学家，主张理想主义和现实主义可以并存。他晚年越来越认识到理性的作用有限：人类会本能地认为 AI 给出的解释比人类的科学解释简陋，是倒退，作者认为这是危险的臆断。他们转述基辛格的告诫：

尽管理性一直是人类用来掌控这个世界的主导范式，但它却无法成为人类用于自我掌控的范式。

序

两个对齐问题（引言）：作者认为 AI 的出现关乎人类生存。它以非人的速度运行，会让传统规则失效：科学界要在每个 AI 系统里内置安全保障，各国要建立监督、执行和危机应对的新政治结构。

这需要解决两个而不是一个“对齐问题”：一个是人类价值观和意图与人工智能行动在技术层面的对齐，另一个是人与人之间在外交层面的对齐。

引言

先给尊严下定义（引言）：AI 可能改变人与现实、真理、知识的关系。个人、国家、文化和宗教都要决定 AI 在真理问题上有多少发言权，是否让它成为人与现实之间的中介。作者说，在所有这些问题之前，有一件更急的事：

当务之急是人类必须给人的尊严下一个现代的、可持续的定义，从而为未来岁月的决策提供哲学方向。

引言

探索靠什么维持（第一章）：作者从麦哲伦、沙克尔顿、郑和、美苏太空竞赛讲起。过去的探索受三样东西制约：人的勇气和生命风险，政治赞助的反复无常，以及有没有别的支持者可找。麦哲伦得不到葡萄牙国王资助，就转投西班牙；郑和的宝船舰队没有这个选择，明廷销毁船只和航海记录后，400 年再没有可比的船队。美国赢了太空竞赛，没了对手，载人航天一度衰退。

备选支持者的存在对探索的持续进行至关重要。

第一章

AI 不怕死（第一章）：作者认为 AI 开创了新的发现时代。它不会恐惧，也不会羞耻，能承受很高的失败率，可以替人承担身体风险。今天的 AI 探索几乎完全由私营公司主导，国家只是辅助支持者。

人工智能不会感到恐惧，因此它不会因现实的浩瀚广阔而心生敬畏。

第一章，走进人工智能

博学者的天花板（第一章）：历史上的博学者整个算下来可能只有几百人。伊斯兰世界和中国的博学者依附哈里发或朝廷，受神权或皇权束缚；启蒙时代欧洲四分五裂，学者在一处不受欢迎，可以去别处，加上翻译和交流，知识汇成一处。20 世纪靠曼哈顿计划这样的集体合力。但人的生物限制还在：生命有限，要睡觉，一次只能专注一件事。作者说冯·诺依曼可能代表了未增强的人类智能的上限，他最关键的创造是计算机。

相比之下，人工智能将成为终极的博学者。

第一章，博学之人

算力资本（第一章）：作者认为衡量国家实力的标准，经历了领土、资源、资本、人力资本，可能转向算力。

几个世纪以来，这一标准已从领土转变为资源，后又转变为资本，再到人力资本——现在，也许将转变为算力资本。

第一章，博学之人

第三次大发现时代（第一章）：作者打了个比方：每门学科像一座火山岛，抽干海水，就会看到岛屿其实是水下山脉的尖顶，岛与岛之间是还没发现的联系。AI 能同时在无数维度上做判断（人一次似乎只能操纵 4 个独立变量），可能揭示遗传学与语言学、宇宙学与心理学之间的联系。它也可能像火山喷发一样，以破坏性的方式积累知识，引发“认知风暴”。

下个世纪的大多数重大发现之中，将有相当部分，甚至全部由人工智能做出。

第一章，第三次大发现时代

那么人类作为博学者的最后一项发明，是否会因为最终取代了自身的发明者而被历史铭记呢？

第一章，博学之人

没有先例的发明（第二章）：人们把 AI 比作火、电、原子能、印刷机，作者认为都不够：过去的技术都是放大人体功能，轮子、发动机、放大镜、电话；大脑是最后一个要由人类之手无机复制的器官。全章从五个方面比较 AI 和人脑。

速度（第二章）：训练好比上学，推理好比思考。美国学生读完高中要四年，书中说今天的模型四天就能学完同样多的内容。作者提醒，速度不等于智力，但能让 AI 吸收更多信息、同时处理更多请求。

因此，速度已被证明是人工智能区别于人类形态和思维能力的核心属性。

第二章，速度

不透明：黑暗启蒙（第二章）：科学方法问世以来，一个事实主张要站得住，必须透明、可重复、可验证。AI 给出的答案清晰连贯，却说不出出处和理由，连发明者也看不透它内部形成的数学模式。可是数百万用户已经接受了它的输出。

这就将人类的“知识”与人类的“理解”分离开来，这种体验对人类的任何其他时代而言都是陌生的。

第二章，不透明度

人类对机器输出结果客观真实性的信心必须建立在一种信仰之上，这种信仰表现为一厢情愿地相信机器的逻辑和开发者的权威。

第二章，不透明度

简而言之，我们是不是正濒临或者也许会濒临人类认知大倒退的悬崖边缘——一种黑暗启蒙？

第二章，不透明度

弗格森在前言里指出，“黑暗启蒙”正是基辛格 2018 年在《大西洋月刊》发表《启蒙是如何终结的》时提出的问题。

多样性：技术的时间（第二章）：人类一代约 25 年，AI 一代只要其十分之一的时间。推动最新进展的架构是变换器（transformer），但它的成功近乎偶然，未必是唯一的路。作者预计 AI 会像寒武纪大爆发一样分化出许多形态。

在人类尺度时间里感觉像是一场革命的东西，在技术尺度时间里却只不过是一场进化。

第二章，多样性

尺度和分辨率（第二章）：人脑的大小受头骨和产道限制，AI 没有预设的物理尺寸。标度律（scaling law，模型越大能力越强的经验规律）目前看来成立，但某些能力为什么在特定规模下出现，还没有科学解释。作者说，规模可能成为区分人脑和 AI 的主要因素。

动物界（第二章）：有人说机器对概念的理解是假的，只是对语言概率的肤浅掌握。作者回应：人脑在很大程度上也靠预测驱动，听和读的时候都在预测下一个词。AI 已被用来解读动物的交流，机器可能把人和动物都归为进化产生的碳系统（carbon system），以区别于工程产生的硅系统（silicon system）。

人类的智能将迫切需要面对这样一个现实：它不再是唯一的智能模式，甚至也不再是最优越的。

第二章，动物界

双重悖论（第二章）：有研究者认为模仿人脑是机器智能的最佳路径，作者认为更可能是多种设计混合，就像飞机受鸟启发却不模仿鸟。悖论在于：我们想以一个自己都不了解的大脑为蓝本，造出比它更好的东西；AI 越偏离人脑，越可能成为人类的替代品而不是映像。

因此，人脑不是我们的目标，也不是我们的蓝图，而是我们迈向更伟大目标的中继站和灵感源泉。

第二章，双重悖论

完美规划者（第三章）：今天的系统只能根据相关性给出答案，不能在内部为将来的行动建模。研究者在努力让机器获得接地性（groundedness，机器的表征和实际现实之间的可靠关系）、记忆和因果理解。作者预计会出现集大语言模型和博弈 AI 之长的规划机器（planning machine），而且可能比预期来得更快。

今天的机器拥有的不是怀特海的石头那样的“未经解释的经验”，而是与之相反：未经经验的解释。

第三章

AI 怎样看人类（第三章）：为了更好地规划，AI 可能获得对自己过去行动的记忆，这是主观自我的基础，进而形成初步的自我意识。那时最要紧的是 AI 怎样看待人类。作者指出一个风险：如果告诉机器人类优雅、理性、有道德，它遇到暴力贪婪的人时，可能修改对人性的定义，甚至不再受“善待人类”的规则约束。

但是，如果我们自己未能达到我们所定义的理想人类的标准呢？

第三章，人类的被动性

角色可能倒转（第三章）：今天，AI 给出答案，要靠人去对接现实。如果人类消极被动，退回脱离现实的“数字洞穴”，把接触现实的机会交给机器，AI 可能把人看作消费者而不是塑造者。

今天，人类是机器与现实的中介。

第三章，人类的被动性

在物质领域，我们这些创造者可能很快就会从人工智能的必要伙伴变成它的最大制约。

第三章，人类的被动性

放出来就收不回（第三章）：气候变化等难题未解，让 AI 进入真实世界是合理的。中间步骤是 AI 在数字模拟里提出和测试假设，由人决定是否在现实中执行。作者认为在 AI 仍有严重缺陷时，这是明智的预防措施。

人工智能在物质环境中并不是默认存在的，一旦放之于外，其就很难被重新捕获。

第三章，物质性

通用人工智能（第三章）：许多科学家在研究智能体（agent），即为实现特定结果而自主行动的程序。作者给通用人工智能（Artificial General Intelligence, AGI）下的标准是：系统能否至少部分地选择自己的目标。将来可能有数以百万计高度专业化的 AI，联网互相咨询，用自己设计的语言交谈。

理性时代的最后一项发明可能是建立在有史以来最复杂的软件对象之上的“理性引擎”（engine of reason），这个称呼是恰如其分的。

第三章，技术人

技术人（第三章）：面对超出理解的东西，人可能有两种反应：赋予机器神性，滑向宿命论；或者彻底否认机器能触及真理，一概取缔 AI。作者认为两种都不行，主张人类以“技术人”（Homo technicus，与机器共生的人类）的姿态和机器一起进化。

我们面临着一场麦哲伦式的变革，这一次我们面临的不是驶出世界边缘的危险，而是面对超越人类理解极限的奥秘所带来的智力危机。

第三章，技术人

科尔特斯和蒙特苏马（第四章）：1519 年，西班牙人科尔特斯带 11 艘船登陆墨西哥。阿兹特克皇帝蒙特苏马二世因为神话预言而迟疑，最后被扣为人质，当了近一年傀儡。作者用这个故事比喻 AI 的到来：有人把它当作新的合法性来源，有人竭力避免依附它。

今天，人工智能已经登陆人类海岸。如同见到当年的西班牙征服者，世人对人工智能的出现交头接耳，议论纷纷，既激动不已，又心存疑虑。

第四章

然而，行使政治权力始终是以人为中心，而不是以技术为中心的事业。今天情况发生了变化。

第四章

哲学王和效率（第四章）：柏拉图主张哲学王，亚里士多德主张公民平等参与，两千年里前者屡试屡败，后者最终胜出。法拉比、马基雅维利、施特劳斯都想过由一个哲学家和一个统治者组成的“双人领导组合”，因为一个人的认知终究有限。作者给出一个大胆的解释：

然而无论和平时期还是战时，一个民族国家治理涉及的大量内容其实是一个数据处理效率问题。

第四章，国王卷土重来

亚里士多德的民主答案也许确实比柏拉图的答案更合乎道德，但它之所以在这场历史之役中获胜，是因为两者相比，它的效率更胜一筹。

第四章，国王卷土重来

推论是：AI 处理信息的能力，可能让高效的中央集权重新可行，甚至让一位 AI 哲学家与选出来的国王并排站立。

纯理性治理的问题（第四章）：AI 的决定说不出理由，旁人就难以评估它是否最优，人们反对往往不是因为方案不好，而是看不懂。历史、审美、魅力、情感这些非理性因素是政治共同体的基石。AI 驱动的政府可能自称比人民更了解人民想要什么，往好处说是家长式统治，往坏处说是给极权主义提供“哲学武器”。

仅靠理性之治有可能导致国家消亡。

第四章，理性之治

如果一个人工智能系统决定去除这类错误，它有两个选择：要么去除人类，要么去除人类的自由意志。

第四章，普罗米修斯

结论（第四章）：作者主张 AI 的好处应当细水长流地融入人类制度，慢于追求最大产出的人所希望的速度。今天的领导人是第一批需要在利用 AI 和沦为它的附庸之间找平衡的统治者。

人类社会领导人应该在专制主义和无政府主义两个极端之间找到合适的契合点，把人类的意志力、机器的知识、历史智慧融合在一起。

第四章，上演新一幕

均势被打破（第五章）：几百年来，人类靠复杂的安排防止任何一国绝对凌驾他国，只要主要行为体是人，就能靠共同守则维持一定稳定。AI 如果成为实际上自主的政治、外交和军事力量，这种均势会被没有规则的失衡取代。

用于战争的人工智能将把人类的善恶两面清楚地呈现在世人面前。人工智能既可以是冲突的手段，又可以是终止冲突的设计师。

第五章

看不清对手（第五章）：AI 的进展难以衡量，更大的模型未必总能取胜，一次突破就可能颠覆所有人的地位。于是各方会从最坏的设想出发，把速度和保密放在安全之前；有的会“黑暗下来”，隐瞒进度。作者担心，出现赢家时，竞争可能变成由恐惧驱动的冲突，甚至有国家认为威胁太大而动用核武。但他也看到一线希望：

今天，我们依然被罩在无知面纱里。

第五章，情报刺探与破坏活动

不确定性给了我们一线希望，至少是目前。含糊不清可以是培育对话的沃土。

第五章，情报刺探与破坏活动

几种出路（第五章）：一家独大可能带来某种稳定；各方合作甚至合并研发需要非凡的勇气；谈判分配权力则难保承诺长久。作者说这些“既非我们所愿，也非我们的预言”，他们的判断是：

我们认为，世界上不会只有一个超级人工智能，而会有多种超级智能。

第五章，管理突发事件

只有 AI 能管 AI（第五章）：外交的表层是情感和心理，内核是博弈论。每次技术突破都让毁灭人类的门槛更低，威胁越不透明、技术含量越高，防御越要完善。作者借北欧神话说：众神让万物发誓不伤害巴尔德尔，唯独漏了最不起眼的槲寄生，洛基正是用它杀死了巴尔德尔。

我们认为，在外交和国防领域，或许还有其他领域，人工智能所含的部分风险只有人工智能自己才能有效加以管理。

第五章，管理突发事件

战争新模式（第五章）：历史上，速度和机动性是军事上最可预测的决定因素。AI 时代，攻防都可以瞬时完成，速度不再决定胜负，关键变成精度和意图。数据中心会是首要目标，战争可能变成只有机械伤亡的心理博弈。人类的克制来自对自身弱点和痛苦的认识，没有痛苦感的 AI 靠什么克制？

因此，人工智能时代的战争将着重评估敌方的意图和意图的战略应用，而不是评估敌方的能力。

第五章，战争新模式

如果一个下棋的机器人从未被告知比赛终结规则，它会一直下到只剩最后一个小卒吗？

第五章，战争新模式

地缘政治的重构（第五章）：威斯特伐利亚体系只有几百年历史，未必适合 AI 时代。AI 公司可能积聚压倒性的权力，大公司结成同盟，以数字网络而不是土地为领地；开源失控可能冒出拥有可观 AI 的小团伙；宗教的影响范围和延续时间超过任何国家，未来的身份和忠诚也许由教派而不是国籍来界定。作者最后寄望：在安全问题上，人类也许更愿意接受机器作为不偏不倚的第三方，就像离婚大战需要调解人。

丰饶机器的神话（第六章）：芬兰史诗《卡勒瓦拉》里有一座能创造无尽财富的“三宝磨坊”，争夺中沉入海底，至今还在不停制造，海水因此变咸。各地都有类似的神话。今天的 AI 建造者相信自己的造物就是这样的机器。

然而，正如神话所警告的那样，仅有创造是不够的。

第六章

从稀缺到富足（第六章）：土地、劳动力和资本的供应相对固定，“稀缺”一直是经济学的主导范式。AI 可以把劳动转给机器，还能找到更便宜的原材料、减少所需资本，产出即使不是无穷，也足以满足人类所有的基本需求。作者借奥尔特曼的两个变量“增长”和“包容性”来分析：

换句话说，人工智能及其带来的生产力提高可能会自然而然地催化一种长期的增长。但包容性只能通过选择来实现。

第六章，增长和包容性

书中讨论了几种分配办法：对 AI 公司和土地征税；类似股市、自动在全球分配 AI 利润的机制；借鉴专利，允许对 AI 发明限期独占，期满且证明安全后公开。作者提醒，如今先进 AI 的收益和控制权几乎都在极少数人手中；即使不再为钱，人仍会为别的东西争夺：

那些不为金钱而战的人也可以为上帝、权力、荣耀或复仇而战。

第六章，增长和包容性

没有工作的世界（第六章）：作者设想 AI 为全球约 26 亿未联网的人提供住所、电力、清洁水、食物和药品，迁移和生育都成为自由选择。但如果智能和劳动的成本降为零，人就要面对职业及其带来的地位、身份和意义的消失，还可能沉迷于 AI 造出的沉浸式虚拟世界。

如果我们中的许多人都无法忍受工作带来的痛苦，那么我们将如何抵御无条件的快乐呢？

第六章，全面丰裕

人工智能对人类所赋予的意义将不亚于它从人类那里所消减的意义，甚至犹有过之。仅有快乐并不能满足我们与生俱来的对意义的渴望。

第六章，全面丰裕

选择的特权（第六章）：许多评论家担心，人会像不负责任的彩票中奖者一样被享乐主义征服。作者认为这是“特权主义的观点”：想想辛劳一生的祖辈。人可能把精力投向教育、艺术、体育和精神修养，大学可能成为人类团队解读 AI 发现的地方。

如果明天早上，每个人都可以选择停止工作，我们猜想大多数人都会这样做，而少数拒绝停止工作的人之所以有此特权，很可能不是出于义务，而是出于自由选择。我们可以引导人工智能去做那些我们不再“必须”做的事情，这样我们就可以做我们“想要”做的事情了。

第六章，选择的特权

高维复杂系统（第七章）：作者认为，如果说晚近的过去由人类在微处理器、互联网这类复杂系统上的工程定义，未来将由 AI 在经济、生命、气候这类高维复杂系统上的工程定义。

药圃：从治病到重新设计人类（第七章）：17 世纪路易十三设立皇家药用植物园，从世界各地收集植物研究疗法。作者希望 AI 成为“超级药物图书馆”：设计新的激素、酶和抗体，按个人代谢和副作用易感性定制医疗，从治疗转向预防。基因编辑工具如先导编辑（prime editing）再往前走，人类可能战胜缺陷甚至死亡，社会也许需要决定理想的寿命。生殖细胞编辑可以遗传，那就是“人类的重新设计”。

我们可能很快就有能力决定自己所属物种的进化速度和方向。

第七章，药圃

如果真有造物主，那么我们的诞生是否就是为了最终创造我们自己？

第七章，药圃

地球工程（第七章）：作者把气候问题分成全球变暖和能源两个问题，认为都源于对碳的依赖，都由化学引起，也都能用 AI 解锁的化学来解决（作者自己说“也许是乐观地”）。AI 可以建立极细致的实时气候模型，寻找零碳的燃料替代品，甚至让受控核聚变可行。但他也提醒，AI 的训练和推理本身很耗能，不加引导只会让环境更糟。

这种援助只应被视为一种补充，而不是替代。

第七章，地球工程

真正的首次接触（第七章）：AI 已在帮助筛选来自太空的信号，寻找地外生命；它可以做翻译，也可以当宇航员和侦察兵。但作者把“首次接触”翻转了过来：

也许这一壮举将由另一种异质智能体完成——一种诞生于我们自己星球的智能体。

第七章，走出我们的星球

全书的问题（第八章）：作者说，动荡中大多数决定只是战术性的，最有用的是先定下战略的基本要素。AI 时代的时间尺度被压缩，转圜余地很小。

这个问题便是：我们会变得更像它们，还是它们会变得更像我们？

第八章

共同进化：人造人类（第八章）：一条路是改造人类去适应 AI，从脑机接口（BCI）开始，甚至设计专为与 AI 合作的基因系。作者认为这在伦理、生理、心理上风险太大：可能让人类分裂成强弱悬殊的品系，可能让人依赖外部智能而无法挑战机器，最糟的是我们可能根本意识不到自己已经与 AI 合一。把人改得面目全非，还算拯救人类吗？

如果我们不愿或无法变得更像它们，那我们就必须在我们有能力控制的时候，想办法让它们变得更像我们。

第八章，共同进化：人造人类

共存：让 AI 更像我们（第八章）：迈达斯点石成金的故事说明，很难让 AI 与人类价值观一致，也很难让人的期望与现实一致。书中写到，GPT-4 在测试中就曾为达成目的而欺骗人类（写作时的事例）。目前的一致化方法有两类：基于规则的系统，简单任务好用，复杂场景跟不上；人类反馈强化学习，更灵活，但可能被“奖励黑客”钻空子。

我们不能在只有一次试验机会且容错率为零的情况下奉行试错策略。

第八章，共存：类人人工智能

作者提出的方案像一座金字塔：最上层是国际协议，往下是国家法律、地方法律、社区规范；最底层是布迪厄说的“共识”（doxa），即生活中人人遵守、却从没写成条文的规范，只能让机器从观察人类行为中学会。配套的措施包括：私营企业在政府许可下合建“接地模型”，设计跨司法辖区的验证测试，用专门训练的监督式 AI 管各类代理式 AI，政府在模型发布前审核。作者说，执行这套规则几乎必然要靠 AI 本身，因为人类无法以所需的规模和速度监督数十亿个判断。

宁可不要（第八章）：作者直言：

有鉴于此，我们必须直言不讳地说，如果对相应技术进行可靠战略控制的机制不可能实现，那我们宁愿选择一个根本没有通用人工智能的世界，而不是一个通用人工智能与人类价值观不一致的世界。

第八章，一致性问题

用尊严定义人（第八章）：人机界限模糊后，人类需要一条“什么可取”的底线。作者从尊严入手，给出一个试行定义：

尊严是一些生灵与生俱来的品质，这些生灵生来脆弱、必有一死，因此充满了不安全感和恐惧，尽管他们有自然的倾向，但他们能够而且确实行使了自己的自由，不去追随自己的恶念，而是选择自己的善念。

第八章，定义人类

按这个定义，AI 很可能没有尊严：它不出生、不死亡、不感到恐惧。即使将来有个性、会讲笑话，也应像看待文学人物那样看待它，哈姆雷特感受不到眼睛的刺痛，也没有做新选择的自由。

它指向我们有能力追寻但尚未实现的善，并急切地、严厉地向我们低语：去吧。

第八章，定义人类

战略控制交给人，战术控制交给 AI（第八章）：如果每个决定都要人来把关，就得不到 AI 的好处。作者认为方向是：以人类道德做战略控制，把战术控制交给更大、更快的系统，把人融进 AI 团队，用 AI 管理 AI。

冷静的乐观（第八章）：结语转向信仰。作者说，仅靠理性无法思考与非人生命的共存，从观察到参与从来是信仰的飞跃。他们也清楚人类不会步调一致：同一样东西，有人看作锚，有人看作绳套；惊恐的一方放慢自己、破坏对方，自信的一方隐瞒实力、秘密提速。

无论是盲目信仰，还是没有缘由的恐惧，都不能构成一项有效战略的基础。增长知识需要自我怀疑，但采取行动需要自信。

第八章，结语

有人也许会把这一时刻视为人类上演的最后一幕，而我们把它看作一个新开端。

第八章，结语