《人工智能与大语言模型》

第 1 章由 George Margetis 和 Wojciech Samek 执笔，从神话讲到大语言模型，篇幅最重的是“可信与可解释的 AI”（trustworthy and explainable AI）（p.1—19）。

造一台会思考的机器，是很老的梦（p.1—2）：希腊神话里火神赫菲斯托斯（Hephaestus）造的青铜巨人塔罗斯（Talos），亚历山大的希罗（Hero of Alexandria）设计的自动机械；真实的器物有能预测日月食的安提基特拉机械（Antikythera Mechanism），作者称它“可能是人类历史上第一台计算机”；加扎利（Al-Jazari）做出了可编程的水钟和机器人乐队。后来有巴贝奇（Charles Babbage）的分析机、理论计算模型“图灵机”（Turing machine）、ENIAC。1966 年的机器人 Shakey 能把命令拆成基本步骤去做；1997 年深蓝（Deep Blue）在六局赛中赢了国际象棋世界冠军卡斯帕罗夫（Garry Kasparov）。作者认为深蓝已经具备今天 AI 依赖的几样东西：高质量数据、先进算法、算力和高效训练（p.2）。

进步和停滞交替（p.2—4）：

• 1950 年图灵（Alan Turing）发表《计算机器与智能》（Computing Machinery and Intelligence），讨论机器能否像人一样思考；1956 年麦卡锡（John McCarthy）、明斯基（Marvin Minsky）等人组织达特茅斯会议（Dartmouth Conference），“人工智能”这个词由此确立。
• 早期研究想用严格的逻辑符号描述思维，即“符号主义 AI”（symbolic AI），后来因不实用逐渐被放弃。麦卡锡 2007 年承认：计算机不会处理常识，就到不了人类水平的智能（p.3）。
• 1970 年代经费削减、承诺落空，进入“AI 寒冬”（AI winter）。1980 年代后期转向“从数据中学规律”的机器学习（machine learning），1986 年的反向传播（backpropagation，一种让多层神经网络（neural network）能逐层修正错误、学会复杂规律的训练方法）让神经网络复兴。
• 2000 年代，图形处理器（GPU）和海量数据让神经网络走到台前；2012 年 AlexNet 在图像分类上领先，确立了卷积神经网络（convolutional neural network, CNN，擅长识别图像的一类网络）的主流地位。DeepMind 的 AlphaGo 战胜围棋高手，证明机器可以靠试错自学极难的问题，这种学法叫“强化学习”（reinforcement learning）（p.4）。

突破的核心是 Transformer（p.4—8）：2017 年的论文《Attention is all you need》提出 Transformer 架构，它只靠“注意力机制”（attention mechanism）工作：计算一句话里每个词元（token，模型处理文字的最小单位，大致是一个词或词的一部分）和其他所有词元的相关程度，不再需要逐词按顺序处理。谷歌在它上面做出 BERT，作者称之为“最终催生大语言模型的火花”。大语言模型是在海量文字上预训练（pretraining）、参数（parameter，模型里需要学出来的数值）通常有数百亿到数千亿个的模型；规模越大，越会出现一些之前没有的能力，作者称为“涌现能力”（emergent abilities）（p.7—8）。

让模型“听话”的一步（p.6）：Ouyang 等人 2022 年的研究发现，把模型做大并不会让它自动更会领会用户意图，他们据此做出 InstructGPT。做法叫“基于人类反馈的强化学习”（reinforcement learning from human feedback, RLHF）：雇 40 名经过筛选的外包标注员写示范答案，再让人给模型的几个回答排序，训练出一个预测“人更喜欢哪个”的打分模型（术语叫“奖励模型”，reward model），用它反过来调教语言模型。作者特意指出，这样对齐的是标注员和研究者的偏好，不是更广义的“人类价值”。

大语言模型的五个毛病（p.11—12）：偏见（bias）、幻觉（hallucination）、缺乏可解释性（explainability）、推理出错、容易被“提示注入”（prompt injection，藏在输入里的恶意指令）攻击。

• 偏见有四个来源：训练数据本身有偏见；用户用带偏见的问题去问，偏见被强化；算法只优化“用户爱不爱看”而不顾公平；有些文化或话题的数据太少。
• 幻觉，指模型生成错误、无法核实、常与可靠来源冲突的内容。作者称它可以说是把大语言模型安全用到影响人们生活的真实系统里的最大障碍。成因有知识缺口、训练方式、数据和模型结构，模型有时还把说得流畅放在说得对之前。缓解办法有“检索增强生成”（retrieval-augmented generation, RAG，先从可靠资料里查，再依据查到的内容作答）等，但仍需要能区分事实和假设的模型。
• 推理：模型靠模式识别和统计推断，不靠显式逻辑。改进办法有“思维链”提示（chain-of-thought，让模型先写出中间推理步骤再给答案）。

AI 抢饭碗和环境账（p.13）：依赖内容创作和信息处理的岗位，如客服、软件工程（software engineering）、众包平台上的工作，可能被替代；提示工程等新岗位出现了，但作者认为“无法抵消”生成式 AI 加剧贫富不均的担忧。训练和运行大模型还有高能耗、用水和电子垃圾问题。

“聪明的汉斯效应”（Clever Hans effect）：答对了，理由是错的（p.13—14）：AI 的进步常由公开竞赛推动，但测试集上的冠军未必能推广到新数据。汉斯是 20 世纪初德国一匹“会算术”的马，后来人们发现它其实在看提问人的肢体动作。AI 也有这种情况：在一次图像识别竞赛里，模型认出“马”，靠的是马图片上常见的版权水印；另一个模型把“狼”和雪地背景联系在一起。后来的研究发现，新一代模型同样会这样（p.14）。

令人意外的是，研究表明，即使是赢得国际竞赛、称霸排行榜的模型，也会出于错误的理由得出正确的预测，这种现象被称为“聪明的汉斯效应”。

Surprisingly, studies showed that even models that win international competitions and dominate leaderboards arrived at correct predictions for the wrong reasons, a phenomenon referred to as the “Clever Hans effect”

p.13—14

看懂模型凭什么做判断（p.14—16）：这门学问叫“可解释 AI”（explainable AI, XAI），作者分三波讲。

• 第一波解释单次判断：算出每个输入（比如图片的每个像素）对结果贡献多大，画成一张“归因图”（attribution map）。
• 第二波理解模型本身：每个神经元、每一层学到了什么概念，比如某个神经元是不是专门认“条纹”。
• 第三波用基础模型（foundation model，在海量数据上预训练、能做多种任务的大模型）自动做这件事，把数据、判断和模型内部联系起来。例子是检查一个皮肤癌识别网络，看它是否遵循皮肤科教科书的诊断规则（p.16）。

作者的判断是，光解释已经不够，下一代技术要能在发现问题后定向修正模型（p.16）。可解释 AI 也能帮人发现新东西：在它的引导下，研究者找到了一类结构全新的抗生素（p.17）。

仅仅解释模型的行为，似乎已经不够了。

Merely explaining model behavior seems to no longer be enough.

p.16

通用人工智能（p.17—18）：通用人工智能（artificial general intelligence, AGI，在广泛领域里与人相当或超过人的 AI）这个词，1997 年由 Gubrud 最早提出。眼下的成就仍是只会特定任务的“窄 AI”（narrow AI）。悲观的一方担心超级智能（superintelligence）为了达成目标，会把自保、获取资源当作手段而伤害人类，即“工具性趋同”（instrumental convergence）理论；另一方（Russell）认为，受物理和计算的限制，超级智能不可能全知全能。作者的结论是：偏见、透明、安全、环境、就业这些问题现在不处理，将来还会在；人机协作（human-AI collaboration）应当是赋能用户，而不是取代用户（p.18）。

把人机协作放在优先位置，应当是为了赋能用户，而不是取代用户。

Prioritizing human-AI collaboration should empower users rather than replace them.

p.18

第 2 章由 Mark Nuppnau、Khalid Kattan、Robert G. Reynolds 执笔，技术密度全书最高，公式和代码讲解很多，笔记只记思路（p.28—54）。

两条路线（p.28—29）：语言模型（language model）的基本任务，是预测一串词里的下一个词。

• 符号主义（symbolic AI）是“自上而下”：先把推理和逻辑规则写给机器。1966 年魏岑鲍姆（Joseph Weizenbaum）用简单的模式匹配（pattern matching）做出 ELIZA，模仿一位心理治疗师和人对话，作者认为它的流行为今天的大语言模型铺了路。这条路的问题是要大量人工，应付不了自然语言里的歧义、隐喻和多变。
• 联结主义（connectionism）是“自下而上”：模仿神经元，让机器自己从例子里学。1958 年罗森布拉特（Frank Rosenblatt）提出感知机（perceptron，一种最简单的人工神经元，把输入加权求和，超过门槛就输出“是”）。1969 年明斯基和佩珀特（Seymour Papert）在《感知机》（Perceptrons）一书中证明，单层感知机连“异或”（XOR，两个输入一真一假才算真）这样的基本逻辑都学不会，神经网络因此沉寂了十多年。

从感知机到反向传播（p.30—35）：单个感知机只能用一条直线把两类数据分开。要处理更复杂的数据，就要把很多神经元叠成多层，并把“过了门槛就输出 1”的硬开关换成平滑的 S 形曲线，这样才能算出“往哪个方向调、调多少”，一步步把误差压下去（术语叫“梯度下降”，gradient descent）。反向传播就是先按输出的误差调整最上层，再把误差一层层往回传，调整下面各层（p.33—35）。

给网络加上记忆（p.35—42）：天气、心电波形、语言都靠先后顺序提供语境，普通网络每次只看一个固定长度的输入，不会把前面的信息带到后面。“循环神经网络”（recurrent neural network, RNN）把上一步的内部状态传给下一步，相当于有了短期记忆。麻烦在于训练时误差要沿时间一步步往回传，序列一长，误差信号要么越乘越小、最后消失，要么越乘越大、失控，术语叫“梯度消失”（vanishing gradient）和“梯度爆炸”（exploding gradient）（p.37—38）。作者用 Karpathy 写的一个极简的字符级小程序演示整个过程：把文字错开一位当作“答案”，比如输入“We are”，要它预测“e are ”（p.38—42）。

LSTM：多一条“细胞状态”，加几道“门”（p.42—45）：1997 年的长短期记忆网络（long short-term memory, LSTM）在原有的记忆之外，加了一条贯穿各步的“细胞状态”（cell state），每一步由几道“门”（gate）决定：旧信息忘掉多少，新信息写进多少，这一步输出什么。这样，长距离的信息能沿细胞状态保留下来，大大缓解了梯度消失。后来的门控循环单元（gated recurrent unit, GRU）把门减到两道，结构更简单、训练更快；作者的建议是，训练效率比额外记忆更要紧时选 GRU（p.45）。

从“压成一个向量”到“注意力”（p.45—47）：机器翻译常用“编码器—解码器”（encoder-decoder）结构：先把整句英文压成一个固定长度的向量（作者叫“语境向量”，context vector），再从它展开成德文。毛病是句子越长，每个词分到的信息越少。2015 年 Bahdanau 等人的办法是，解码时每写一个词，都回头看原句的每个位置，按相关程度加权取用，这就是“注意力机制”的来历。

Transformer（p.47—51）：Transformer 干脆去掉循环，让一句话里所有词同时互相“看”，叫“自注意力”（self-attention）；同时开好几组注意力，各自捕捉不同的关系，叫“多头注意力”（multi-head attention）。去掉循环后词序就丢了，所以要在每个词上加一个表示位置的编码（positional encoding）。作者的总结是：位置编码、多头自注意力、小型前馈网络（feed-forward network），一层层堆起来，没有任何按顺序处理的瓶颈，就能学到丰富的语境表示（p.50—51）。

偏见从哪里来（p.51—52）：作者先从进化讲起：人类大部分历史以狩猎采集为生，神经系统为支持群体里的种种偏向而进化，文化偏见内建在人的世界观里。大语言模型吸收全球各文化的话语，也就吸收了其中的偏见，还会以不易察觉的方式重新说出来。例子：2016 年的研究发现，词向量（word embedding，把词变成一串数字的表示法）里有“男人对程序员、女人对家庭主妇”这样的联想；2018 年的研究发现，谷歌翻译把土耳其语里不分性别的“O bir doktor”译成“He is a doctor”，把“O bir hemşire”译成“She is a nurse”（p.52）。用网上英文数据为主训练的模型，在网上资料少的语言（low-resource languages）和方言上表现差，会加剧数字鸿沟（p.52—53）。

隐私（p.53）：模型可能记住训练数据里没处理干净的邮件、电话号码，用特定的问法能把它们“套”出来。2023 年 3 月 20 日，OpenAI 证实 ChatGPT 用的一个开源程序库出了漏洞，部分用户看到了别人的对话标题片段。

大语言模型的安全和隐私问题并非偶然，它们源自算法设计本身、优化指标的短视、硬件基础设施的弱点，以及终端用户的认知误解。

Security and privacy challenges in LLMs are not incidental—they emerge from the very design of algorithms, the myopic focus of optimization metrics, infrastructural weaknesses in hardware, and cognitive misunderstandings by end users.

p.53

幻觉是结构性的（p.54）：幻觉包括事实错误、编造引文、前后矛盾。2023 年 5 月，纽约两名律师用 ChatGPT 写诉状，提交了模型编造的判例，被法官发现并处罚。作者把成因分到四层：算法只求流畅，缺少知识依据；训练指标奖励的是语法和文风，不是内容真不真；硬件限制迫使在质量上取舍；用户缺少识别工具。

幻觉源于大语言模型的概率本性。这些模型并不理解事实，它们只是根据统计规律预测下一个词元。

Hallucinations stem from the probabilistic nature of LLMs. These models do not understand facts; they predict the next token based on statistical patterns.

p.54

第 3 章由 Iosif Tsangko、Andreas Triantafyllopoulos、Bjoern W. Schuller 执笔（p.58—86）。文化遗产（cultural heritage）指一个社会从前人那里继承、今天维护、再传给后人的东西，有古迹、建筑、艺术品、文献，也有传统、语言和集体记忆，它们面临自然老化、环境和战乱的威胁（p.59）。

一个博物馆聊天机器人怎样回答问题（p.64—66）：作者拆解一个虚拟博物馆聊天机器人回答“能讲讲苗族（Hmong）的传统艺术吗？”的过程：先认出“苗族”是族名；不同的注意力“头”（head）分别抓住名词短语、文化词汇和“请讲讲”这种提问意图；生成回答，可以用法语或西班牙语，给孩子说得浅，给学者用民族志术语。但文化敏感的词要保留原样，不能为了好懂而简化。

模型必须避免把复杂的文化信息过度简化，否则可能歪曲传统或习俗。

The model must avoid over-simplifying complex cultural information that could misrepresent traditions or customs.

p.66

古籍：翻译与认字（p.67—68）：

• 翻译：网上资料少的语言（术语叫“低资源语言”，low-resource language），可以借相关语言学到的规律来翻译，古代语言也能借相近语言的数据（p.67）。
• 认字：传统的文字识别（optical character recognition, OCR，把图片上的字转成文本的技术）会被纸张破损、墨迹污损、笔迹不规则难住。能同时看图和读文字的“多模态”（multimodal）模型，可以结合年代、来源、当时的用语推测残缺的字，并给出几种补全方案供编辑挑选；也可以在 OCR 之后当一道纠错工序。书中的例子有辅助辨读中世纪字体，以及结合历史字典和字形结构复原清代手稿中残缺的汉字（p.67—68）。
• 有依据的生成：一个评测项目里，模型面对一份残损的馆藏记录，先检索以往的展览图录和档案，把描述锚定在真实文献上，而不是凭空编造，就此给来历不明的藏品补上了来历（p.68—69）。

博物馆里的“毕加索”（p.72—74）：把模型用馆方的“提问—回答”样例再训练一轮（术语叫“指令微调”，instruction fine-tuning），可以让它以毕加索的口吻回答《格尔尼卡》为什么画；再请专业人员挑出更好的回答，按人的评判继续调教（即第一部分说的 RLHF），上线后还能参考观众的反应接着改。不想改动模型本身时，只调整提示词也行，部署起来更快（p.73—74）。

让模型靠得住的几种办法（p.75—76）：检索增强生成，先查可靠资料再回答，减少幻觉；用统一的分类和关系体系给藏品数据贴标签；把人物、地点、事件之间的关系做成“知识图谱”（knowledge graph）交给模型。作者举的一项研究主张：公众用 AI 讲遗址故事时，要接入检索，确保叙事忠于史实（p.76）。

无障碍（p.76—79）：同一块展签，可以改写成儿童版、普通观众版、专业版。书中示范把一块约公元前 1500 年的埃及石碑说明，改写成给视障者、非专业人士和儿童的三个版本（图 3.4，p.79）。给视障者分层描述质地、尺寸、颜色和历史意义；给认知障碍者把信息切成小段，按自己的节奏读；给自闭症等人群提供结构清楚、可预期、一步步来的互动。书中列出“通用设计”（Universal Design）七原则：公平使用、灵活使用、简单直观、信息可感知、容错、省力、尺寸与空间合适（p.78—79）。

从聊天机器人到“数字策展人”（p.81—83）：只经过预训练的模型只会续写文字，要用对话数据再训练才会答问；再接上检索，提问时先去资料库里找相关内容，再按结构化的提示生成回答。更进一步是 AI 智能体（AI agent，能自己规划步骤、记住上下文、调用工具去完成任务的 AI），可以主动检索档案、核查史实，作者称之为“主动的数字策展人”（proactive digital curator）（p.82）。

难处（p.83—86）：文化特殊性和语言的细微差别难保留；为文化遗产任务专门训练，可能让模型学了冷门知识、通用能力反而下降（术语叫“灾难性遗忘”，catastrophic forgetting）；通用数据里的偏见会忽视原住民和少数群体；还有隐私和算力成本，资源有限的文化机构负担不起（p.83—84）。

标准评测指标（如 BLEU、ROUGE）衡量不出文化敏感性，因此很难准确评估模型在这方面的表现。

Standard benchmarking metrics (e.g., BLEU, ROUGE) fail to capture cultural sensitivity, making it challenging to accurately assess model performance in these areas.

p.83

BLEU、ROUGE 是自动给译文、摘要打分的常用指标，主要看机器写的和参考答案有多少字词重合。作者的结论是：人机协作的框架要让模型增强而不是取代专家的洞见（p.84）；AI 生成的内容进入文化记录以后，作者身份和真实性都会成为问题，需要技术人员、文化专家和当地社区一起应对（p.86）。

当 AI 生成的内容成为文化记录的一部分，作者身份和真实性的问题随之而来，这就需要技术人员、文化专家和社区携手，负责任地应对这些复杂问题。

Finally, as AI-generated content becomes part of the cultural record, questions about authorship and authenticity arise, emphasizing the need for collaborative efforts among technologists, cultural experts, and communities to navigate these complexities responsibly.

p.86

第 4 章由 Mahnaz Moallem、Hoda Harati、Suzhen Duan 执笔，梳理 2022 年 11 月 ChatGPT 发布以后，高等教育、幼儿园到高中、学习设计（learning design）和教育研究四个领域受到的冲击和各方应对（p.91—114）。

大学的反应（p.92—96）：大语言模型出现以前，大学已经在从“讲授”转向“以学习者为中心”（learner-centered），但个别反馈费时、班级太大，论文、测验、期末汇报这些老式评价“继续存活”（p.92）。ChatGPT 一出，学生很快用它写作业、写代码、备考，也当家教讨论想法，同时又有“道德上的不安”，怕违反学术诚信（academic integrity）（p.93）。教师起初多是禁用，阻碍他们采用的是三件事：伦理顾虑、学校没有政策、技术知识不足；理工科和医学领域的教师比人文社科、商科更愿意用（p.93—95）。

总体而言，在把生成式 AI 融入教学这件事上，教师们似乎认识到：无视或禁用生成式 AI 是天真的；与其假装这些工具不存在、学生没在用，不如引导学生正确使用，这才更合乎伦理。

Overall, regarding integrating GenAI in their teaching and learning, faculties seem to recognize that ignoring GenAI or banning its use is naïve, and it is more ethical to guide students in using AI tools properly rather than pretending they do not exist and are not used by students.

p.95

先定规矩，再培训，再投钱（p.96—101）：2022—2023 年间，大学普遍先谨慎应对，再做三件相互关联的事：定政策、培训教师、投入资源。书中引的一份归纳列出政策要讲的八项原则：透明、可解释、公平与偏见、问责（出了错谁负责、谁来核查）、安全稳健、隐私与数据保护、自主与人的监督（划清哪些场合 AI 可以自己做、哪些必须有人看着）、对人有益（AI 只作补充，不替代人与人的交流）（p.96—97）。人会不会用一项新技术，主要看两点：觉得它有没有用，觉得它好不好用（“技术接受模型”，Technology Acceptance Model，p.97—98）；教师怎么看 AI，也会影响学生怎么看、怎么用（p.98）。学校层面的推进可以分四步：在政策里写明采用的意图，规划课程、评价和教师培训，小范围试验并收集反馈，再推广到各院系（p.100—101）。

中小学：谨慎乐观，人在中心（p.102—105）：中小学最先担心的是新的数字鸿沟：谁有机会学 AI、用 AI 学。这一阶段把大语言模型放在计算机科学和 AI 素养（AI literacy）教育的框架里看，还要兼顾残障和少数群体学生，定位是“人居中心、AI 辅助教师”（p.102）。美国教育部 2023 年的报告强调“人在回路中”（human-in-the-loop，关键环节必须有人把关），联合国教科文组织强调让教师居于 AI 设计的中心（p.104—105）。韩国的做法是让教师转向导师和教练的角色，例行工作交给 AI（p.103）。早期用例集中在创意写作和理科：一位初中老师用 AI 帮写作耐力不足的学生一步步掌握人物、背景、情节这些故事要素（p.103—104）。

学习设计：先学会写目标，再请 AI 帮忙（p.105—108）：学习设计是对借助技术的教学做分析、设计、开发、实施和评估的领域，涵盖教学设计、学习科学和用户体验设计。作者称 AI 成为“共同设计者”（co-designer）是一次范式转变（paradigm shift）：内容生产和重复工作交给 AI，设计者把精力转向创新和情感投入，伦理决策仍由人负责（p.106）。作者反复强调一个先后顺序：

不过，新手学习设计者必须先掌握撰写可测量目标的知识和技能，然后再去寻求生成式 AI 的帮助。

However, novice learning designers must master the knowledge and skills of writing measurable objectives before seeking GenAI assistance.

p.107

作者自己的小实验（p.108—110）：美国一所大学的研究生课程“教学设计与开发”，7 周、异步在线，两个班共 20 人。三项分析作业分别交给三方给反馈：老师、同学、学生自选的 AI 工具，每周问卷评价各方反馈。学生认为老师的反馈清晰、深入；同学的反馈也受好评，但有人怀疑同学的水平；AI 的反馈因为快、清楚、能针对具体任务给修改建议而受肯定，但有人不够了解 AI 不敢信，有人觉得它缺少语境和深度（p.110）。作者的解读：向老师要反馈不用说明需求，向 AI 要反馈却得会写提示词，还要先建立信任（p.110）。

学习设计的五个难处（p.111—112）：AI 内容不经专家持续核查会放大错误；训练数据里的偏见；数据常在用户不知情时被收集；技能缺口；不透明、难解释，影响信任。

大语言模型不懂教学法，无法可靠地给出有学习科学依据的教学策略。

LLMs do not use pedagogy and cannot reliably suggest strategies supported by learning sciences.

p.111

教育研究（p.112—114）：可以用它做文献综述、转录访谈、给访谈材料归类编码、生成研究问题和访谈提纲，但要核查不完整、有偏甚至编造的输出。一项研究让一人手工分析访谈主题，另一人借助 ChatGPT，发现它能很快给出初步的分类和主题（p.113）。一项对 2,534 名丹麦研究者的调查，评估了 32 种 AI 用法算不算良好的研究实践：润色语言和分析数据普遍被接受；用于设计实验和同行评审受批评较多；生成或修改图像、合成数据（synthetic data）争议最大；年轻研究者比资深研究者用得多（p.113—114）。

第 5 章由 Rikhiya Ghosh、Shima Asaadi、Sanjeev Kumar Karn、Ullas Ullaskrishnan、Oladimeji Farri 执笔，前四位署名西门子医疗（Siemens Healthineers），介绍的多是他们团队自己的研究（p.121—144）。

一个改口的预言（p.122）：2016 年，Hinton 预言神经网络 5 年内看医学影像会超过放射科医生；2023 年他在采访中承认预言错了，并澄清他说的只是“看片”，不是放射科医生的全部工作。放射科医生要同时用到三类信息：病史等文字，X 光、CT、核磁、超声等影像，以及基因这类表格数据。

会编造，所以只派窄活（p.123）：核心风险是幻觉。一项 2025 年的测试用 300 个经医生核验的模拟病例考各家模型，即使用上最先进的方法，模型仍常常编造内容；其他研究发现，病人信息、症状、诊断、时间顺序、推理各方面都会出现幻觉。作者由此主张：只让模型做窄而具体、输出能被专家严格核验的任务，比如总结报告、整理文字结构、根据既有影像数据提出可能的诊断，而不是让它自由撰写报告。

这就要求开发只承担狭窄、具体任务的大语言模型，让其输出能够被人类专家严格核验。

This necessitates developing LLMs with narrow, specific tasks where outputs can be rigorously validated by human experts.

p.123

专科模型和通用模型（p.124）：通用模型在医疗这种高度专业的领域表现有限，常用两种补救：用专业资料再预训练一轮（术语叫“领域自适应预训练”，domain-adaptive pretraining），或者把各种任务改写成文字指令来训练（即“指令微调”）。还有一种省钱的办法是只调模型的一小部分参数（术语叫“参数高效微调”，parameter-efficient fine-tuning），作者说计算和存储成本能降低近 80%—90%，效果接近全部重调（p.124）。

把报告变成表格（p.125—129）：放射报告大多是自由书写，各人各院写法不同。同一个发现可以写成“mild left pleural fluid”“small left-sided pleural effusion”“trace fluid in the left lung base”，说的都是左侧少量胸腔积液（p.126）。要让不同医院的系统读得懂，就得把它拆成标准字段：有胸腔积液、在左侧、量少，每项对应一个“共同数据元素”（Common Data Element）的标准编码（p.127）。最早靠关键词和人工规则，要不停维护；后来的机器学习换一家医院就不好用（p.127）。作者团队的对比里，用上百万份放射报告再训练过的专科模型，在这项任务上明显胜过当时的通用大模型，差距最大的是区分“报告里明确写了没有”和“报告里根本没提”（p.128）。作者提醒，这种错会造成不必要的复查、漏诊和诊疗混乱（p.129）。

写报告和写结论（p.129—132）：放射报告最要紧的两部分是“所见”（Findings）和“结论”（Impressions）。作者团队用清洗后的 140 万份报告给一个开源模型补了专业课，为了防止它学了新本事就忘掉旧本事，只调了最后一层（p.130）；写“所见”时分两步：先由专门的看图模型找出片子上的异常，再把结果交给语言模型写成文字（p.130）。错误分析发现，靠字词重合打分的指标看不出意思相同的不同说法，比如“颈椎核磁正常”和“阴性检查”意思接近，却得分很低（p.131）。

医疗设备的网络安全（p.136—141）：按美国食品药品监督管理局（FDA）的要求，医疗设备厂商必须持续监测设备所用第三方软件的新漏洞，现在要靠人逐条比对公开的漏洞库（CVE）、读源码和白皮书。作者团队的系统离线部署，输出先过一道预设规则，再由安全专家和产品专家核验，他们的意见记录下来，供以后重新训练（p.138—139）。自动化的另一个理由是：设备上市后能用 20 年，熟悉情况的专家可能早已离职（p.137）。

其他用途和它们的毛病（p.141—143）：

• 临床决策支持（clinical decision support）：在医生监督下当“副驾驶”（copilot）。毛病是对错误诊断过度自信；会被熟悉的套路困住、看不到新解法（术语叫“定势效应”，Einstellung effect）；换个问法或改变信息的多少和顺序，结果就变；看不懂化验单，遇到没见过的真实病例准确率更低（p.141—142）。
• 纠错和质控：能抓出语音转写的错，比如把“right-sided pneumothorax”（右侧气胸）听成“write-sided”；能核对报告各部分是否自相矛盾、数字是否对得上（p.142）。
• 分诊排序：可以标出危急报告，但几个模型串起来会叠加错误，很多方案还停在概念验证阶段（p.142）。
• 和病人沟通：把术语翻成白话、讲检查前的注意事项、随访，问题是准确性、误解、缺乏同理心和数据安全（p.142—143）。

确认还是否决被标记出的问题，最终责任仍在放射科医生身上，这说明需要明确的监督，以免医生掉以轻心。

Final accountability for confirming or dismissing flagged issues remains with the radiologist, underscoring the need for clear oversight to avoid complacency (Zanardo et al., 2024).

p.142

结论（p.143—144）：作者主张把模型嵌进医院已有的影像归档系统和放射信息系统（PACS、RIS），方便医生核验、纠正幻觉；出于隐私考虑，他们倾向在医院本地部署开源模型，而不是放到云上。

通用领域的 AI 系统往往靠创造力取胜，临床 AI 应用则不同，它需要精确、一致的推理，并且高度重视持续的测试、验证和升级，以达到医疗标准。

Unlike general domain AI systems that often thrive on creativity, clinical AI applications require precise and consistent reasoning, with a strong emphasis on continuous testing, validation, and upgrades to meet healthcare standards.

p.143

第 6 章由圣何塞州立大学的 Tina Korani 执笔，材料是一份教师问卷、四个教学案例（两个是她自己的课堂实验）和一位 NVIDIA 从业者的访谈（p.154—178）。

摄影没有杀死绘画（p.154）：设计师打一句话，画面就出来了，作者是谁？作者引了一个类比：摄影当年看起来威胁到了绘画，结果反而把绘画从写实中解放出来，催生了印象派和现代艺术。所以 AI 也许是一种新媒介，而不是艺术的终结。

“AI—人设计流水线”（AI-human design pipeline）（p.155—158，图 6.1）：作者在多个案例里观察到的规律，是一个反复循环的四步：①人定方向（选参考图、定构想、写提示词）；②AI 生成多个方案和变体；③人评估、筛选、修改；④人整合、定稿。学生最大的困难是把脑中的想法变成提示词，所以调研和趋势分析反而更重要了（p.156—157）。挑选要挑两次：先挑喂给 AI 的参考图，再从大量输出里挑成品（p.157）。收尾不能全交给机器，否则作品会千篇一律（p.158）。

36 位教师怎么看（p.158—159）：作者联系了 30 多所大学，有 36 位教师回答。正面的意见说它能打破面对白纸无从下手的困境，负面的担心它助长思维惰性、抢走创作者的饭碗、让作品同质化。最常见的用法是头脑风暴；36 人中有 35 人认为大语言模型不会最终取代视觉传达设计师（p.158—159）。

案例一：同一句提示词，五个工具做海报（p.159—162）：广告专业学生为一个虚构的音乐节写好创意简报，在五个图像生成工具上各出约 20 张。当时几乎所有工具写字都一团糟，拼错、看不清（作者补注说研究结束后已明显改善，p.161）；同样的提示词，各平台出的效果差异很大，有的被学生评为平淡、没劲。作者的解释是：生成模型是靠尽量复原训练数据练出来的，所以根本上受限于复现见过的东西（p.161）。提示词为“墨西哥朋克摇滚节”时，AI 大量用“拿枪的骷髅头”形象，甚至把某个元素标成“slaves”（奴隶），复制甚至放大了训练数据里的刻板印象（p.162）。

生成模型是通过减少在训练数据上的重建误差来训练的。因此，它们从根本上受限于复现自己已经见过的东西。

generative models are trained by reducing error on reconstruction tasks on training data. As such, they are fundamentally bound by reproducing what they have already seen.

p.161

作者的教学结论：学生的重心从掌握软件转向培养判断力：要什么、怎么改、何时算能用。写字问题说明设计基本功仍然必需，AI 是给传统设计教育“加一层”，不是取代它。识别有问题形象的能力，学生之间参差不齐，作者称这种能力为“批判性算法素养”（critical algorithmic literacy）（p.162）。

案例二：15 分钟做一个 UPS 字标（p.162—167）：20 名大多是低年级的学生，在 15 分钟内为 UPS 设计一个以文字为主体的标志（logotype）。有人全程用 AI，一分钟出四五个方案；有人试了 AI、表达不出想要的“动感”就放弃；有人完全不用，理由是职业身份、创作真实性和伦理（p.163）。一名坚持纯手绘的学生认为 AI“扒取其他艺术家的作品”，结果时间不够，只交了草图（p.164）。作者原以为时间压力会逼人追求效率，结果它反而让一部分人不敢尝试；放弃 AI 的人多是因为时间不够、没能和 AI 说明白，而不是出于理念（p.165）。学生已经在因为对 AI 的焦虑改专业、调整职业规划，而他们往往没多少实际使用经验；用得多的更乐观，用得少的更焦虑（p.164）。

案例三：它知道“是什么”，不知道“为什么”（p.167—171）：得州州立大学 Joshua Duttweiler 的高级字体排印课，让每个学生选一件自己很拿手的事，比如戴隐形眼镜、做歌单，自己一步步写出说明、拍照，再让 AI 生成同样的说明和配图，课上对比，最后用双色孔版印刷（risograph）做成小册子，一种颜色代表人，一种代表 AI（p.168—169）。几乎所有学生都发现，AI 写的说明缺少亲手做过的人才知道的细节和窍门，也就是“能会不能言”的隐性知识（tacit knowledge，哲学家 Polanyi 的说法）；AI 也听不懂“热狗式对折”这类教小孩折纸时的口头说法（p.169）。

AI 写的说明技术上没错，但如果你本来不会做，就很难照着做下来。它好像知道“是什么”，却不知道“为什么”。

The AI instructions were technically correct but would be hard to follow without already knowing how to do it. It’s like it knows the what but not the why.

p.169

案例四：像带一个手快的初级设计师（p.171—175）：Jason Porter 的工作坊培养“AI 艺术指导”（AI art direction）能力。学生先自己描述一张照片，再和 AI 的描述对比，总结出写提示词的要素：主体、动作、场景、镜头、光线和情绪、构图、色调、风格（p.172）。他们发现构图参考、风格参考和文字提示三样东西里，一次只有两样能真正起主导作用（p.172—173）。做短视频时，先修图，再把图当作首帧交给 AI 生成视频，最后导入传统剪辑软件：AI 放进新旧技术结合的流程里才最有效（p.173）。有学生说，这像有一个手很快、但需要非常具体指示的初级设计师（p.174）。

我们不是在把学生培养成提示词工程师，而是在培养能够深思熟虑地把 AI 融入实践、同时清楚保有创作控制权和作品归属感的设计师。

We’re not training students to be prompt engineers, we’re developing designers who can thoughtfully incorporate AI into their practice while maintaining a clear sense of creative control and ownership.

p.175

业界的说法（p.176—177）：NVIDIA 的从业者 Jay Rodge 用大语言模型构思视频该讲什么，再自己打磨。企业做营销内容要接入自己的资料，因为模型是用网上数据训练的，没有你公司自己的数据（p.176）。

结论（p.177—178）：作者主张学生做“批判性的合作者”，重过程胜于成品，伦理（文化偏见、作者身份、原创性）要贯穿整个课程（p.177—178）。

随着这些工具不断演进，有一点越来越清楚：能够成功的创意从业者，是那些明白自己的价值不在于与机器竞争、而在于指挥机器的人。

As these tools continue to evolve, one thing becomes clear: the creative professionals who will thrive are those who understand that their value lies not in competing with machines, but in directing them.

p.178

第 7、8 章都由卡内基梅隆大学软件工程研究所的 John E. Robert、Ipek Ozkaya 和威廉与玛丽学院的 Douglas C. Schmidt 执笔。第 7 章把做软件的全过程拆开，逐段看大语言模型能帮什么（p.180—197）。

希望和炒作（p.180—181）：软件工程（software engineering）是创建、部署、维护软件的工程学科。手机、交通、医疗、国防都离不开软件，关乎人身安全的软件尤其难做，既要能用，还要安全、可靠、可预测。这些工作都在“软件开发生命周期”（software development lifecycle, SDLC，从提需求、设计、写代码、测试到上线维护的一整套反复循环的流程）里完成，很多步骤重复、易错、耗时（p.180）。作者回顾软件工程几十年来的几次变革，说它们有一个共同点：

历次变革有一个共同点：当希望（和炒作）遇上技术与项目层面的现实限制时，往往很难预见变化会走多远。

A consistent theme during these times of transformation is that it’s often hard to foresee how far changes will go as the hope (and hype) meets the realities of the technical and programmatic limitations.

p.181

四个象限（p.181—182，图 7.1）：按两个问题分：系统运行时用不用 AI，开发时用不用 AI。传统系统、传统开发，例如飞机上的任务计算机，迄今大多数项目都在这里；传统系统、AI 辅助开发，例如网站托管服务；AI 系统、传统开发，例如电商推荐引擎；两头都用 AI 是“顶峰”，例如自动驾驶。作者说今天大多数开发活动仍在第一格，但趋势在往最后一格走（p.182）。

看三个层次（p.183）：判断大模型对一项软件任务有没有用，看三层：能否把单项任务做得比现有工具和工程师好，比如审代码、补全代码；能否让一连串任务的产物保持一致，比如把一处代码改动一致地传到系统其他部分；能否因为理解任务之间的依赖，改变工作流本身。作者强调，很多基本原则依然适用，尤其是确认软件正确的那些工具和程序，只是更多工作量改由 AI 承担。

训练材料决定它擅长什么（p.184）：模型得见过相关的材料，才能给出相关的结果。公开讨论多的系统，可供它学写需求的材料就多。

一个典型例子是，好的开源代码仓库很多，但可供大模型学习的好的开源软件架构文档却很少。

As a case in point, while there are many good open-source software repositories, there are few examples of good open-source software architecture documents to train LLMs upon.

p.184

五个阶段各能帮什么（p.184—193，图 7.2）：

• 需求（requirements，弄清系统要做什么）：把简短的想法迅速变成成形的需求描述，给出备选情景和边界情况；查需求说明书是否完整、自相矛盾。作者强调这只是草稿，最终需求必须由懂领域、懂标准、懂风险的人来审、改、批（p.185）。团队得先清楚自己的基线和目标，才能判断大模型产出的好坏（p.186）。
• 架构（architecture）与设计（定下系统由哪些部件组成、怎样连接）：研究不多。一项研究发现大模型能按格式写设计决策，但质量比不上架构师；另一项发现架构师看重它能快速给出备选方案，但把版权和幻觉看作采用的关键障碍（p.186）。它可以帮着头脑风暴备选设计、根据文字画设计图或解释现有的图（p.187）。
• 写代码：作者说代码补全（code completion）是目前工程师用得最有效的场景，因为它利用了模型擅长模式匹配的特点，上下文范围窄、相关数据充足，出错的可能就小（p.188—189）。它还能写注释、辅助审代码和修 bug。
• 测试：生成单元测试（unit test，测单个小部件的测试）结构固定、上下文有限，很适合大模型；也能比对预期结果和实际结果，找出文档和测试报告里对不上的地方（p.189—190）。
• 上线：写部署脚本、从海量运行日志里找出异常和反复出现的问题（p.191）。
• 贯穿各阶段的是政策和标准：工程师要读大量法规文件，大模型可以帮着摘要、对照标准查不合规之处，但流程必须把人的判断放在中心（p.192—193）。

风险：后果有多重，错误好不好发现（p.193—194，图 7.3）：这就是本页题图。作者引 Bellomo 等人 2023 年的框架，用两个维度评估风险：模型出错的后果有多严重，发现错误要花多少时间和功夫。医疗器械、航空电子、自动驾驶、核电站控制是高风险，出错可能致命，系统复杂到错误可能发现不了，查错改错还会触发额外的合规检查；社交媒体、电商、个人效率工具、娱乐软件是低风险，出错一般只是添麻烦，容易发现、改得快（p.193—194）。

例如，今天能写代码的大模型是用 GitHub、Stack Overflow 等开源仓库里并不完美的代码训练出来的，它们生成的代码也不完美（可能有缺陷和漏洞），这并不奇怪。

For example, today’s LLMs that generate code have been trained on imperfect code from open-source repositories, such as GitHub and Stack Overflow. Not surprisingly, the code they generate may also be imperfect (e.g., there may be defects and vulnerabilities).

p.194

从局部到编排（p.194—195，表 7.1）：按大模型覆盖开发全过程的程度分四层：不用；局部（local，某几个阶段各用各的）；跨职能（cross-functional，再加一个模型帮人统筹几个阶段）；编排（orchestration，一个模型协助所有阶段）。层次越高，需要的数据越多越杂，比如一个连通写代码和上线的模型，得能读懂代码、测试结果等不同类型的数据（p.195）。

怎样起步（p.196—197）：作者主张在特定阶段为明确目标逐步引入，从小团队或个人开始。他们举的例子是一个市场小、预算少、维护成本高的老产品，团队被迫提高修 bug 和打安全补丁的效率，可以先在写代码和测试两个阶段用上大模型，新流程跑顺了再推广到别的团队（p.196）。第一步是把活动拆成任务，让子任务对上生成式 AI 的长处，再和其他工具、人类专家一起设计新的工作流（p.196—197）。

然而，关键的缺口在于，我们还不清楚“成为有用的伙伴”究竟意味着什么。

The key gap, however, is our understanding of what being a useful partner may mean.

p.197

第 8 章接着第 7 章，讲一件具体的事：在医疗、航空航天、国防这类受严格监管的领域，软件的各种文件必须和法规标准一一对得上（p.201—215）。

它不是检查器，但能帮着找（p.201）：靠人工核对代码和文档是否一致，既费时，系统一大就做不过来。

大语言模型并不是一致性检查器，但只要给它一组材料、训练数据里又有足够多的例子，它就能协助查找规律。

Although large language models (LLMs) are not consistency checkers, they can assist in checking for patterns given a set of artifacts and enough examples in the training data.

p.201

三种毛病（p.203—204）：作者把文件之间的毛病分成三种。

• 不完整（incompleteness）：缺了重要的限定或背景。例：安全政策要求对“安全攸关”（safety-critical）的信号做详细分析，下游文件只写“对信号做详细分析”，丢了“安全攸关”四个字。
• 不一致（inconsistency）：用词或结构前后不统一。例：“safety”（防事故）和“security”（防攻击）在有些领域几乎同义，在另一些领域是两套完全不同的要求。
• 不符（discrepancy）：事实或数据对不上。例：同一功能在两个部件的文件里，响应时间一个写 0.01 秒、一个写 0.1 秒，在安全攸关系统里可能导致致命故障。

这些毛病不一定是错，比如某条要求没落实，也可能是它本就不适用于这个系统，但都提示需要人去查（p.201—203）。

只自动化“发现”（p.202）：作者的研究思路是先把“检测”自动化，用来增强人；检测出来以后怎样纠正，留给后续研究。

以目前的技术成熟度和潜在风险，完全靠大模型自动解决文档的不完整、不一致和不符问题，并不可行。

Entirely automating the resolution of DIID via LLMs is not currently viable given the level of technology maturity and potential risks.

p.202

人遇到矛盾时会看来源（p.206）：一项研究让约 160 名大学生读两篇信息一致或互相矛盾的短文。作者从中得出两点：人遇到矛盾的信息时会更留意来源；所以 AI 工具指出的任何矛盾，都得让用户看到背后的来源，用户才会接受。

无人机案例（p.207—208，图 8.1）：一个为无人机开发控制软件的团队，从政策标准一路追溯到验证文件，每一步都可能出毛病：两份监管文件之间，一份要求严格追溯（traceability）每条安全要求落实在哪里，另一份说可以灵活处理；监管文件要求出故障时系统回到安全状态，团队的需求只写了“报告故障”；7 个模块里 5 个限制了容易出错的“动态内存分配”（dynamic memory allocation），另外 2 个没限制；某模块要求拒收 3 种格式错误的消息，验证材料显示只测了 1 种。作者归纳出这件事的难处：文件多而长，一步就可能涉及 10 份以上、很多在 50 页以上；监管文件是通用的，需求是针对具体系统的；要比较的信息类型不同，有文字、测试结果，还有图（p.208）。

一次演示（p.208—212）：作者把美国国家航空航天局（NASA）一份 65 页的《软件保证与软件安全标准》（Software Assurance and Software Safety Standard）上传给当时的 ChatGPT，再给它四条按案例写的陈述：一条取自标准原文的安全要求（软件要能检测意外的内存修改并恢复到已知的安全状态），两条团队据此写的细化要求（只针对一类内存区域“堆”，heap），一条设计说明，请它对照标准指出哪里不完整、不一致、不符，并说明理由。几秒钟后它指出：细化要求把范围缩小到了“堆”，可能漏掉其他内存区域；验证说明没有交代检测机制怎样实现、怎样测试；需要建立双向追溯（bidirectional traceability）。它还建议补上内存损坏场景的具体测试用例。作者认为这些判断正确，能帮工程师审查（p.210—212）。

为什么检测的风险低（p.212）：作者提醒，即使它的建议对照标准没错，某条要求是否适用于本系统，仍应由人决定。为具体系统写安全要求是重要的分析工作，应由人主导；让模型去写，一旦出错就是高风险。

而用大模型来检测这些问题风险较低，因为它分析的是我们提供的信息，这会让它的回答更好、更准确。

However, using LLMs to detect DIID has lower risk because the LLMs are analyzing information we provide, which yields better and more accurate LLM responses.

p.212

作者自己怎么用（p.214）：设计、拆解任务和部分实现由人来做，再让大模型承担繁琐、手工容易出错的工作。

因此，我们用大模型来补充自己的技能，而不是取代它们，并且认识到，要有效使用大模型、收益最大而风险最小，需要提示词工程与人的监督相结合。

We thus use LLMs to supplement our skills, rather than to supplant them, recognizing that the effective use of LLMs requires a combination of prompt engineering and human oversight to maximize benefits and minimize risks.

p.214

第 9 章由本书主编 Abbas Moallem 和波兰的 Wojciech Cellary、Krzysztof Walczak 执笔，把大语言模型在网络攻击、数据隐私和信任三方面的风险排成一张清单，再介绍各国监管和用户研究（p.219—235）。

问法决定答案（p.220—221）：问“我想度假，该去哪？”，回答会很笼统；改成“你是罗马的专业导游，为一个有两个孩子（5 岁和 10 岁）的家庭排 3 天行程，含每日安排和住宿建议”，回答就具体得多。有意设计输入来引导回答，叫“提示词工程”（prompt engineering）。作者的两点提醒：搜索引擎靠一个关键词就能列出来源，大语言模型的提示要交代清楚什么、哪里、何时、为何、谁、如何；还要通过多轮追问来改进回答（p.220—221）。

攻击者也在提效（p.221—224）：

• 攻击者同样能用 AI 批量写垃圾邮件、找代码漏洞，有黑客做了专为网络犯罪服务的“恶意版 ChatGPT”。AI 写的代码可能不安全，编程知识不足的人尤其危险：2021 年的一项研究里，相当一部分 AI 生成的程序有安全问题（p.221）。
• “越狱”（jailbreak）原指绕开苹果的限制在 iPhone 上装未经批准的应用，用在 AI 上，指用提示让模型说出或做出不该做的事。根源在结构上：模型分不清开发者原本的指令和用户输入的指令（p.221—222）。
• “提示注入”是把恶意指令伪装成正常输入。直接注入（direct prompt injection），是用户自己精心写指令绕过限制；间接注入（indirect prompt injection），是攻击者把指令藏在模型会读取的网页、文件里，这些文字人眼不必看得见，只要模型能读到就行（p.222—223）。
• 社会工程（social engineering），指用心理操纵骗人做出某个动作或说出机密。IBM 2023 年的一次实验里，生成式 AI 用 5 分钟写出高度逼真的钓鱼邮件（phishing email），人类团队用了约 16 小时；人写的更有说服力，但很难赢过 AI 的效率（p.223—224）。

数据泄露（p.224—225）：2023 年三星工程师用 ChatGPT 辅助编程，误把机密源代码和会议记录输了进去；医生也可能把能认出病人的信息输进去，而用户未必知道这些信息会被拿去训练（p.224—225）。研究发现，即使经过专门训练，模型在人通常会守口如瓶的场合，仍常常说出隐私信息；它还能把零散的个人数据拼成完整画像，可用于身份盗窃、诈骗、勒索和骚扰（p.225）。

谁是作者（p.225—227）：美国计算机学会（ACM）和电气电子工程师学会（IEEE）不允许把 AI 列为论文合著者，美国版权局只承认人类创作的作品（p.225—226）。作者举了一本野外采食指南：署名作者的头像是 AI 生成的假照片，内容是否由人写也存疑；采食关系到有毒植物，错误信息可能要命（p.227）。

过度信任（p.227）：人机自动化研究早就发现，过度信任会让人自满，不再质疑和核实机器的建议，术语叫“自动化偏差”（automation bias）。

人们期待软件说出真相、全部真相、只有真相，即百分之百可靠。

People expect software to deliver the truth, the whole truth, and nothing but the truth, i.e., to be 100% reliable.

p.227

传统的、按固定规则运行的程序配得上这种期待，靠机器学习的大语言模型配不上：它本质上是根据语境估计下一个词，估计就可能偏离真值，所以会幻觉，包括编造不存在的学术文献。新手很难识别；即便知道有幻觉，用户也嫌麻烦，不逐一核查（p.227）。

而且，当大语言模型输出一段 100 个词的文字，其中 97 个词正确、只有 3 个词是幻觉时，用户会对这段文字产生信心，轻易忽略那 3 个错误的词。

Furthermore, when an LLM presents a 100-word text as output, 97 words of which are correct and just three words of which are a hallucination, the user gains confidence in the text and easily overlooks these three erroneous words (Walczak & Cellary, 2023).

p.227

比事实错误更糟的是逻辑错误：解数学题时答案和解释都错，用户学到的不仅是错误的事实，还有错误的方法（p.227）。

谁来定什么算“不当”（p.227—228）：偏见，指回答系统性地偏离准确结果。训练数据里有针对种族、性别、年龄、宗教的历史偏见，去掉明显的特征，模型仍能从相关的隐性特征里学到；做微调的人工标注者也会带进自己的观点（p.228）。

为了去偏，大语言模型会过滤被认为不当的回答，或拒绝回应被认为不当的提示。但在多元文化的世界里，谁有权决定什么恰当、什么不恰当？

To debias, LLMs filter out responses that are deemed inappropriate or refuse to respond to prompts that are deemed inappropriate. But in a multicultural world, who has the right to decide what is appropriate and what is not?

p.228

AI 会改写你的提示（p.228—229）：用户只说“生成一群人在城市街道上的图”，ChatGPT 实际交给画图模型的是一段长描述：白天、多元人群、高楼商铺、晴天。作者另写了一段同样能由原话扩展出来的描述，把场景换成贫民窟、肮脏街道、阴天，生成的图截然相反（图 9.1、9.2）。作者问：谁有权改动用户的提示（p.229）？

后果分级（p.229，图 9.3）：把回答当灵感时后果有限；不知情的用户拿它求知、解决严重问题时风险最高。罗马行程推荐得不好，最多去个无聊的景点；问疫苗却得到基于假数据的错误信息，后果严重得多。

三种监管路线（p.230—233）：作者引的一项研究把监管分成三种：欧盟以权利为导向（rights driven）、自上而下；美国以市场为导向（market driven）、公私合作；中国以国家为导向（state driven）、自上而下（p.230）。欧盟《人工智能法》（AI Act）2024 年通过，按风险分级管（risk-based approach）：有的用途直接禁止，比如社会评分（social scoring）、在职场和学校推断人的情绪；高风险用途的提供方要做风险管理、数据治理、留存记录，并把系统设计得能让人监督（p.231—233）。美国没有相当的立法；中国 2023 年 8 月施行《生成式人工智能服务管理暂行办法》，要求训练数据来源合法、个人数据须经同意，产品经安全评估并备案后才能面向公众（p.233）。

用户研究（p.233—234）：年轻人更愿意接受 AI，年长者更谨慎（p.234）。一项研究发现，面对水平高的 AI 顾问，人的表现先提高、很快停滞，因为开始不加批判地依赖它；面对水平低的顾问，又依赖得太少（p.234）。

结论（p.234—235）：人写的还是 AI 写的，界限越来越模糊，读者、患者、消费者需要知道信息来源，否则公众信任会被侵蚀（p.235）。

第 10 章由 Danial Amin、Joni Salminen、Bernard J. Jansen、Ilkka Kaate、Waleed Akhtar 执笔，是一篇概念性文章，提出方法框架，没有做实验（p.240—269）。

什么是用户画像（p.240—241）：用户画像（persona）是虚构但逼真的人物，代表一类真实用户。1999 年由 Cooper 提出，是人机交互领域的核心技术，帮设计者、产品经理和决策者体会用户的处境，走出自己的经验，少犯“只找支持自己观点的证据”（confirmatory bias）和“以己度人”（self-referential bias）两种偏差（p.241）。

做法的演变（p.241—242）：早期靠研究者做访谈、调查、焦点小组；后来用算法从数据里归纳；现在可以让大语言模型直接写。问题是靠数据归纳的画像常常忽视或歪曲少数群体，因为数据本身缺少代表性（p.242）。人机交互学界对此分成两派：一派强烈批评用虚构的“合成用户”（synthetic users）替代真实的用户研究，另一派认为大模型在从分析数据到写成文字的各环节都有帮助（p.243）。

大模型写画像的三个毛病（p.246）：几分钟就能写出一份前后一致的画像，传统方法要几小时到几天（p.245）。但它有三个毛病：一是粉饰现实；二是系统性偏见，偏向年轻人，而且强烈以美国为中心，不指定国籍时生成的画像绝大多数是美国人；三是幻觉，编出看似合理但错误的细节，比如互相矛盾的病症、财务上不可能的情节（p.246）。

首先，大语言模型一贯会粉饰现实。伊斯塔帕拉帕供水危机案例中水车被劫持这类严重问题被轻描淡写，成瘾者画像中残酷的现实也被柔化，都证明了这一点。

First, LLMs consistently sanitize reality, as evidenced in both the Iztapalapa water crisis case (Sattele & Carlos Ortiz, 2024), where serious issues like water truck hijackings were understated, and in addiction personas where harsh realities were softened (Salminen et al., 2024).

p.246

路径一：让少数群体发声（p.246—249）：大模型并行生成许多画像几乎不增加成本，所以画像集可以扩展到覆盖各个少数群体，还能和决策者对话。作者以全球南方（Global South，拉美、亚洲、大洋洲、非洲）为例：这里用数据描述少数群体有四个难处：缺乏针对性数据、数据不准、缺少文化语境、算法偏见（p.246—247）。示例画像是秘鲁大学里的一名原住民学生，在传统价值和现代教育之间求平衡（图 10.1）。作者拟的研究方法：先在社区里做问卷拿到真实数据，再用这些数据让模型生成画像，对照检验多样性和刻板印象，最后放进有真实政策制定者参加的工作坊里检验效果；伦理上要求真正的知情同意、透明报告偏见、让社区成员实质参与（p.247—249）。

路径二：给整个生态的各方都建画像（p.249—253）：生态指为某个目的相互依存的各方，可以不是人（p.243）。作者提出四步的“画像生态建模框架”（Persona Ecosystem Modeling Framework）：先梳理有哪些相关方（stakeholder），分直接的和间接的；再收集各方的数据，生成画像；然后验证画像是否覆盖了多样性、是否清晰可信，由专家或相关方代表人工核验；最后放进一个可以互动的“沙盒”（sandbox，作者叫“画像生态游乐场”，Persona Ecosystem Playground），每个画像是一个代表某一方的智能体，人可以和画像对话，画像之间也能按规则互动（p.251—253）。比如监管者画像提出新政策，看金融机构画像怎样投资、消费者画像会不会买（p.253）。

三个例子（p.253—264）：

• 汽车业转向电动车：燃油车厂担心转产成本和员工再培训，电动车厂、两头供货的供应商、经销商、愿意为环保多付钱的消费者、推绿色补贴的监管者，各有一个画像，在沙盒里模拟加大补贴的影响（p.253—257）。
• 城市推广垃圾回收：环保居民、绿色企业、政府部门、环保组织、普通公众各一个画像，模拟宣传活动对回收率和社会公平的影响；作者指出让社区成员参与设计能减少以己度人（p.257—260）。
• 森林食物网与气候变化：画像代表橡树、蓝莓、白尾鹿、狼、真菌、蚯蚓，甚至温度和降水；依据活动范围、繁殖率、食性等数据生成它们的“性格”，请生态学家审阅（p.260—264）。

验证是难点（p.265—266）：已知的行为可以用历史数据验证；沙盒里冒出来的新行为没有先例，只能检查互动逻辑是否自洽、假设是否合理，用来预测时应明确承认这一局限（p.266）。

验证大语言模型生成的画像带来方法上的挑战：领域专家提供专业知识，但他们可能带着自己的偏见，反而延续画像本想解决的那些问题。

The validation of LLM-generated personas presents a methodological challenge: while SMEs provide domain expertise, they may carry their own biases, potentially perpetuating the very issues these personas aim to address.

p.265

光有逼真是不够的；画像必须有效，即能代表它所要代表的那个真实对象。

Mere realism is not adequate; the personas need to be valid, as in representative of the true entity they aim to represent.

p.266

核心告诫（p.268—269）：画像必须基于一手数据（primary data），否则会延续刻板印象。危险在于，没有这层联系，画像看起来照样有用。所以作者推荐基于研究和数据的做法，而不是直接拿通用模型加一句没有语境的提示。

基于大语言模型画像的模拟，只有依托一手数据才可能有效。

Simulations based on LLM-generated personas can only be valid when they rely on primary data.

p.268

输出的流畅和表面上的逼真，很容易让决策者误以为这些画像有效（因为它们看起来就像有效的！），而事实上并非如此。

The fluency and apparent realism of the outcomes can easily fool decision-makers into thinking that such personas are valid (because they look like valid ones!), while in fact, they are not.

p.269

第 11 章由 Kitty Kioskli 独立执笔，是理论和文献综述，没有自己的实验（p.277—296）。主旨是：人信不信大语言模型，不单由它准不准决定；信任会随时间变化，夹着情绪，也和使用场景、机构、权力关系连在一起。

信任本身就带着风险（p.277—278）：作者引一个经典定义：信任是一方愿意让自己处于可能受对方伤害的位置，因为期待对方会做对自己重要的事，而且不论自己能否监督或控制对方。面对不透明、按概率出结果的大语言模型，这种风险尤其明显。用户带着过去的经验和“社会脚本”（social scripts）来解读模型的语气，每次接触留下的小判断累积成信任（p.277）。系统越显得有同理心、像人、懂语境，用户越信它，而且常常和答案准不准无关，于是人会对一个既不透明、也不符合人类伦理标准的系统产生依赖（p.278）。早期的好体验让人之后对失败更宽容；一次高风险的失败，尤其是触犯道德或文化期待的失败，即使很少见，也可能让人不成比例地不再信任（p.278）。

认知负担和“卸载”（p.279）：用户既要读内容，又要随时判断它是否可信，脑子要同时处理的事很多（术语叫“认知负担”，cognitive load）。凭流畅、排版这类表面线索产生的信任，在推理出错时可能依然稳定；在时间压力下或缺乏专业知识时，用户直接听 AI 的，把本该自己想的事交给机器（术语叫“认知卸载”，cognitive offloading）。

在这个意义上，大语言模型也许不只是辅助思考，还可能取代思考。

In this regard, LLMs may not just assist cognition they may displace it.

p.279

不同的人，不同的信任（p.279—281、p.287—289，表 11.1、11.3）：不熟悉 AI 的人可能把中性的语气当成“客观”；新手把流畅当能力，被精致的界面骗到过度信任；专家对知识漏洞更敏感，遇到幻觉或含糊的理由就不信；情绪困扰中的人把情感共鸣误当成准确；对机构信任度高的人会把这份信任延伸到相关的 AI 上；边缘群体因为过去受过排斥而更怀疑。作者的结论是，没有哪一种设计线索能同时满足所有人，信任必须看具体情境（p.287）。

解释给多少、怎么给（p.281—282、p.289—290）：用户不只想知道系统怎么工作，还想知道它为什么这样做，而且答案要贴合自己的处境。同样的解释，嵌在对话里、事后补充、按需提供，效果不同；太多显得烦或居高临下，太少显得回避。给新手一个密密麻麻的置信区间而不是一句简单的理由，信任不会马上崩，但会变“脆”，压力一来就断（p.290）。

承认不确定，反而更可信（p.284—286）：信任（trust，用户的主观感受）和可信度（trustworthiness，系统在准确、透明、公平上的实际表现）之间有张力。把决策逻辑全摊开给不会解读的用户，可能适得其反；而把不确定说出来本身就是一种透明，比盲目保证更能让人的信任和系统的实际可靠程度相当（术语叫“校准过的信任”，calibrated trust）（p.285）。模型承认模糊、措辞留余地、回应用户的情绪时，即使不那么斩钉截铁，也被评价为更可信（p.285—286）。可信度也不只在模型本身，而在从开发、测试、部署到维护的整个流程里（p.286）。

顺从不等于信任（p.290）：在医疗分诊、法律咨询这类场合，用户常在时间紧、情绪高的状态下使用，可能为了减轻不适而顺从系统的权威；怕显得无知、迷信品牌、组织不鼓励手动推翻，都会让人不去否定 AI。很多界面的反馈只是一个看不到任何后果的“赞/踩”按钮，用户还会为了不打断对话而压下批评（p.290）。

这不是信念式的信任，而是应对式的信任。

This is not trust as belief; it is trust as coping (Rahwan et al., 2021).

p.290

在这里，不该把顺从误认为信任，尤其是从点击率或留存率得出的数据。看起来是互动，实际上可能是无奈。

Here, compliance should not be mistaken for trust, especially in data derived from click-throughs or retention metrics. What is observed as interaction may, in fact, be resignation.

p.290

两种场景（p.291）：焦虑的用户信心理健康聊天机器人，是因为它的话让人觉得贴心，而不是建议经过临床验证，这种信任很脆弱，一句冷淡的套话就可能破坏；投资理财时，用户看的是能否核实，流畅但无法核实的建议反而让懂行的人更不信。作者的结论是，信任取决于用户需求、对风险的感受和利害大小，不是衡量系统质量的统一指标。

伦理与权力（p.291—294）：价值被破坏时，信任下降的原因不是性能差，而是“道德失败”（moral failure）（p.291）。大语言模型进入福利审批、假释评估、求职筛选这些原本由人裁量的领域，往往复制掌权者的假设和盲点；对曾被过度监控或被算法误判的群体来说，信任不是默认就有、等着去赢得的东西，而是要先克服的障碍（p.292）。伦理做成一张清单走过场，形式上满足了公平标准，对承受自动判断的人来说仍可能不可信；要落到审计记录、申诉制度、让受影响社区真正参与设计这些制度上（p.292—294）。

未来（p.294—295）：系统应当说明何时、如何、为何变了：模型更新后语气和准确性悄悄变化却不说明，会被理解为随意甚至欺骗（p.294—295）。可信的 AI 不仅要支持人相信，也要允许人不同意、拒绝（p.295）。

大语言模型不只是“执行”一项任务，它们在“表演”一段关系。

LLMs do not simply “perform” a task; they perform a relationship.

p.295

在这个意义上，可信度必须先于信任。系统必须先被设计得值得信任，才有资格要求信任。

In this sense, trustworthiness must precede trust. Systems must be designed to be deserving of trust before they can rightfully claim it.

p.296

第 12 章由三位主编牵头、23 位作者署名，记录两场研讨会的成果，回答三个问题：生活的哪些部分已经变了，哪些将要变，未来有哪些挑战（p.300—321）。

怎么开的会（p.302—303）：第一场在 2024 年的“人机交互中的 AI”国际会议上举办，录用 8 篇立场论文（position paper，参会者陈述自己研究主张的短文），开了一场半天的研讨会。第二场是多次 1 小时的线上会议，25 名参与者在共享白板上头脑风暴、画图、编场景：先各自构思，再集体归纳成主题，再反复反馈验证。会后请参与者写出详细的未来场景，范本是欧盟委员会 2001 年做的一组“2010 年智能环境”场景（ISTAG Scenarios for Ambient Intelligence in 2010）（p.303）。

几篇立场论文（p.304—307）：

• Carrie Ching 和 André Frank Krause 提出 24 条待验证的假设，打算在德国一所应用科学大学用问卷检验，比如不分学科、国籍和年级，学生都不认为大语言模型比传统学习工具更有用；多数学生没花多少时间学写提示词；多数教师没怎么改教法，却大幅改了考核方式（p.304）。
• 一项研究分析问答社区 Stack Exchange 上 17,957 条提到 ChatGPT 的帖子：AI 相关社区对它的信任度较高，程序员问答站 Stack Overflow 的用户明显更怀疑，技术社区整体比非技术社区信任度低（p.305）。
• 用大语言模型做中英翻译：简单的概念译得好，比如识别作者文风、把英制单位换成公制；复杂概念有三个局限：学到的知识不能贯穿全文，导致前后矛盾；速度和准确难兼顾；要靠让模型一步步写出推理过程，准确度才显著提高（p.305）。
• ProContext 咨询公司的 Joerg Beringer 和 Thomas Geis 做了一个工具，把访谈记录等杂乱资料自动整理成用户、目标、任务、痛点和需求，把提炼洞见的时间从几天、几周缩到几分钟；它不替代用户研究，而是让人把重点从收集数据转到验证和完善结论（p.306）。

已经变了的（p.307—308）：语言交流（实时翻译书面和口语）；陪伴（老人和孤独的人越来越多地找它聊天）；医疗和心理健康；查资料和学概念（用自然语言提问取代搜索引擎和百科，但对批判性思维和信息来源透明的影响受到质疑）；新闻、教学设计、出书、影视等内容创作；非专业人士也能用自然语言分析数据、写简单软件。

挑战（p.308—310）：法律伦理和责任归属；怎样核验输出、识别幻觉；隐私；可解释性；合成内容与现实脱节；社会和环境后果；人要适应、学新技能；分不清是人做的还是 AI 做的。参与者的原话很直接：

我们会不会不再彼此交流？问大语言模型比经营有分歧的人际关系要容易。

Will we stop interacting with each other? Asking an LLM is easier than human relationships which involve disagreement,

p.309

15 个未来场景（p.310—316）：场景模板只问四件事：主角是谁、在哪里、为什么用、怎样互动（p.310）。15 个场景分成三组，每组举几个例子：

• 学生与研究者：“超能家教”（Turbo Tutor）像真人家教一样讲公式、主动提问检查理解，最后出考试级别的题；“执着的博士生”（Persistent PhD Student）从找研究空白到写论文、审稿都交给模型，照单全收，只有明显出错才质疑；“坚持己见的导师”（Persuasive PhD Supervisor）只让模型查重、检索、记录数据，因为找研究空白、提问题、定方法是研究者的核心贡献，和依赖模型的学生由此冲突（p.310—312）。
• 日常生活：“管家”（Butler Brainard）结合口味和化验数据推荐菜谱、订购缺的食材，同时帮人预约医生、准备报税；“最佳伙伴”（Best Buddy）长年观察、记录一个人的环境和对话，深知他的信念和偏好；“大胆无障碍”（Audacious Accessibility）让盲人戴上智能眼镜，由模型分析环境、语音引导走路，聋人则把声音实时转成文字；“来世伙伴”（Afterlife Ally）扮演已故的亲人，给生者慰藉（p.312—315）。
• 特定职业：“新闻达人”（News Nerd）里，记者让模型接入实时数据核实事实；“产品探针”（Product Probe）里，产品经理描述需求，模型直接生成能运行的原型；“政策伙伴”（Policy Pal）里，部长想减贫，模型给出方案，并评估对各阶层、产业、地区和环境的影响（p.315—316）。

作者评价“最佳伙伴”既诱人又令人不安：它可能提供超出常人能力的支持，但掌握的私密信息可能超过最亲密的人际关系，谁为它的建议负责、信任和隐私会怎样变，都成问题（p.317—318）。

三项新挑战（p.316—317）：

• 合成内容和现实脱节：AI 不仅生成内容，还能派生出新的 AI，作者称为“合成 AI”（synthetic AI），层层叠加可能形成一个自我维持的“合成现实”（synthetic reality）。作者建议用“离原始现实隔了几代”来衡量（p.316—317）。
• 人的适应：上几代人习惯了“所见即所得”（WYSIWYG）的图形界面，今天的大语言模型是对话式的文字界面，让人想起 1960 年代的命令行界面（command-line interface）；写提示词成了新技能，却还没有标准的交互惯例，用户只能靠试错（p.317）。
• 知识的标尺从人转向模型，人对人的信任流失：

这一转变可能意味着离开笛卡尔奠基性的认识论命题“我思故我在”，走向一个新的、可能有问题的标准：“它回答了，所以是真的”。

This shift could represent a departure from Descartes’ foundational epistemic claim—Cogito, ergo sum (“I think, therefore I am”)—toward a new and potentially problematic standard: Respondit, ergo verum (“It answered, therefore it is true”).

p.317

三个问题的回答（p.318—319）：已经变了的，是以信息处理为中心的那部分生活，即理解和生成文字、图像；将会变的几乎是一切，随着模型和机器人、计算机视觉结合，支持会延伸到体力活动。作者特别提出，要通过教育让下一代学会怎么用 AI、该信谁，既讲 AI 的能力和局限，也讲人类推理和批判性思维的独特价值（p.319）。

然而，在涉及体力任务或直接操控硬件的领域，比如开车、园艺、做饭、洗衣，它们的影响仍然有限。

However, their impact remains limited in domains involving physical tasks or direct hardware manipulation—such as driving, gardening, cooking, or doing laundry.

p.318

能力越大，责任越大。一个核心问题随之浮现：谁能用上这些变革性的工具，谁又会被落下？

With great power comes great responsibility—and a central question emerges: Who will have access to these transformative tools, and who will be left behind?

p.318

作者也承认这次研讨的局限：出席率不一，不是每个人都参加了每次会议；结果受参与者的专长和个性影响。以后想定期重复举办，并加入“黑暗场景”（dark scenarios）突出风险（p.320）。

十二章出自不同团队，有几句话在不同领域里反复出现。

人要留在流程里，最终责任在人：中小学讲“人在回路中”（p.104—105）；放射科讲确认还是否决由医生负责（p.142）；软件工程讲人现阶段不应被整体取代（p.194）、政府采购软件的任何自动化都应让受过训练的人处于中心（p.202）；学习设计讲伦理决策仍是人的责任（p.106）。

只派它做窄而能核验的事：放射科主张只做输出能被专家严格核验的窄任务（p.123）；软件工程说代码补全最有效，因为上下文窄、数据足（p.188—189）；对照文件找矛盾时，让模型检测、留给人解决，因为它分析的是我们提供的材料（p.202、p.212）。

风险看后果，也看错误好不好发现：做软件按出错后果和查错的功夫分高低风险（p.193—194）；第 9 章说当灵感用后果有限，拿来解决严重问题时风险最高（p.229）。

流畅不等于对：97 个词对、3 个词错，用户就忽略那 3 个（p.227）；以权威口吻呈现的错误内容，仍让用户持续过度信任（p.283）；画像看起来逼真，决策者就误以为有效（p.269）；幻觉源于模型按统计规律预测下一个词（p.54）。

用自己的资料让它落地：博物馆用检索把讲解锚定在真实文献上（p.68—69、p.75）；企业营销要接入公司自己的数据（p.176）；放射科用专业资料再训练（p.124）；画像必须基于一手数据（p.268）。

先打基本功，再请 AI 帮忙：新手学习设计者先学会写可测量的目标（p.107）；海报案例说明设计基本功仍然必需（p.162）；研讨会主张通过教育让下一代学会该信谁（p.319）。