# Lecture 18 · AI 与社会 > **CS221: Artificial Intelligence — Principles and Techniques** · Stanford · Autumn 2025 > 📅 Nov 19 · 💻 [`society.py`](https://github.com/stanford-cs221/autumn2025-lectures/blob/main/society.py)（前半：伦理与危害） --- ## 从技术到社会 **前面所有讲（纯技术）**：这门课到目前为止一直在回答「怎么把 AI 造出来、造得更强」—— - 机器学习模块：张量与梯度、线性回归/分类、深度学习，核心是「从数据中学出一个函数」； - 状态型模型模块：搜索（世界确定）、MDP（世界不确定）、博弈（世界里有对手）； - 推理模块：贝叶斯网络（概率推理）、命题/一阶逻辑（逻辑推理）； - 上一讲 [[Lecture 17 · 语言模型]] 则把这些线索汇聚到了当下最强大的一类系统上。 **本讲（社会影响）**：视角发生根本转变——不再问「怎么把模型做得更强」，而是问「这项技术落到社会上会发生什么」。 - 核心难点：AI 是**双重用途技术（dual-use technology）**——同一个能力既能行善也能作恶，且后果充满不确定性； - 本讲的总目标可以概括成三件事：**多做有益应用（benefits）、阻止滥用（misuse）、防范事故（accidents）**。 > [!note] 本讲的性质 > 这是一讲偏思辨的课，没有算法、几乎没有公式。技术人往往觉得「我只管把东西造出来，后果让别人操心」——本讲的第一件事，就是拆掉这个借口；余下的部分，则展示「关心社会」如何落成可操作的框架（分类、审计、度量、法律分析），而不是停留在口号上。 --- ## 1. 为何技术人要关心社会（why_care） 问题很直接：我们这些搞技术的，为什么要上这一讲、要关心社会？讲义给出三个理由，层层递进。 ### 1.1 技术对社会有巨大影响 历史上，互联网、移动电话、社交网络，每一样通用技术都深刻重塑了社会的运转方式——信息如何流动、人如何交往、工作如何组织。AI 在这条谱系上尤其特殊：它是**历史上采用速度最快的技术**，ChatGPT 已达到 **8 亿周活跃用户**。技术的影响力越大，「不管后果」的代价就越高：一个只影响几千人的工具出了偏差无伤大雅，一个嵌入几亿人日常生活的系统出了偏差，就是社会级的问题。 ### 1.2 技术人手握巨大的权力 我们比任何人都清楚这项技术**能做什么、不能做什么**——这种理解本身就是权力。于是很多关键决定其实握在工程师手里： - 我们**选择**投入哪些问题：做医疗问答还是做广告点击率，这个选择决定了 AI 的红利先流向谁； - 我们做的**设计选择**塑造了谁能用、怎么用（access）：例如支持哪些语言——只支持英语，就把全球大多数人挡在门外； - 要不要**公开基础模型的权重（release weights）**：这决定了谁有能力在其上构建与审查（这条线索会在 [[Lecture 19 · AI 供应链与生态系统]] 展开成「开放性谱系」）； - 允许哪些请求、拒绝哪些请求：模型的拒答策略就是一部由工程师起草的「行为准则」。 > [!tip] 直觉 > 这些看似纯技术的开关，实际上是在替社会做价值判断。「支持哪些语言」不是工程细节，而是「谁被服务、谁被忽略」；「拒绝哪些请求」不是产品策略，而是「什么言论被允许」。既然价值判断无法避免，那就应当**有意识地**做，而不是在无意识中做。 ### 1.3 「只管造，后果别人担」行不行？ 一个极端的历史反例——**Wernher von Braun（冯·布劳恩）**：二战期间他为纳粹德国研制 V-2 火箭（曾轰炸伦敦），战后被带到美国，又主导了阿波罗登月的运载火箭。讽刺歌手 Tom Lehrer 专门写过一首以他为名的歌挖苦这种心态，大意是：火箭一旦升空，落在哪儿就不归他管了——「那不是我部门的事」。 同一套火箭技术，可以送人上月球，也可以当弹道导弹砸向城市。造它的人，真的能说「落点不归我管」吗？讲义的立场很明确：**不能**。理解技术的人恰恰是最有条件预见落点的人，预见的能力带来相应的责任。 > [!note] 承接 > 好，我们决定要关心社会了。**然后呢？** 「关心」需要抓手——下一节先看看前人给出的抓手（伦理原则），以及它们为什么不够用。 --- ## 2. 高层伦理原则及其局限（principles） **总目标**：确保 AI 的发展**造福**而非**危害**社会。历史上已有不少高层伦理宣言试图给出行为准则，值得先了解两份代表作。 ### 2.1 Belmont Report（1979） - 背景是 **Tuskegee 梅毒实验**的伦理丑闻：从 1932 年起，美国公共卫生署对一批患梅毒的非裔美国男性**故意不予治疗**（即使 1940 年代青霉素已成为标准疗法），只为观察病程自然发展；实验持续 40 年，直到 **1972 年被媒体曝光**。 - 舆论震动促使美国国会于 1974 年通过《国家研究法案》并成立专门委员会，委员会于 **1979 年发布 Belmont Report**，确立了**保护研究中人类受试者**的伦理基线。 - 三条原则： | 原则 | 英文 | 含义 | | :--- | :--- | :--- | | 尊重人 | respect for persons | 知情同意（informed consent）：受试者须自愿且知情 | | 有益 | beneficence | 最大化收益、最小化伤害 | | 公正 | justice | 不让某些群体承担不成比例的负担 | Tuskegee 实验三条全违反：受试者不知情、只受害不受益、且负担全部压在一个弱势群体身上——这正是三原则各自要堵住的漏洞。 ### 2.2 ACM 伦理准则 计算机领域自己的版本（ACM Code of Ethics）罗列了从业者的义务：促进人类福祉、避免伤害、诚实、公平、为原作者署名致谢、尊重隐私、恪守保密。 ### 2.3 原则的局限 这些原则**看上去都无可指摘**——谁会反对「避免伤害」呢？ > [!warning] 易错点 > 真正的难题不在于「同不同意这些原则」，而在于**怎么把它们落地（operationalize）**。「最小化伤害」在一个具体的模型发布决策里，到底意味着什么？发布开放权重是「促进福祉」（更多人能用）还是「造成伤害」（坏人也能用）？原则给了方向，却没给操作手册——对同一条原则的真诚信奉，可以推出完全相反的行动。 > [!tip] 直觉 > 把伦理原则类比成宪法：宪法条文人人赞成，但真正决定案件的是判例和法理。本讲余下部分做的就是「判例」的工作——把「造福社会」拆解成可分析的框架（双重用途 → 三分类 → 逐个深挖），在「从原则到操作」的鸿沟上搭桥。 --- ## 3. 双重用途技术（dual_use_technology） 我们想开发**造福社会**的 AI。难点在于：**我们无法完全控制它被怎么用。** > [!note] 定义 > **双重用途技术（dual-use technology）**：既能用来造福、也能用来伤害人的技术。 ### 3.1 历史上的双重用途技术 ```mermaid graph LR A["氨 Ammonia"] --> A1["🌾 农业化肥"] A --> A2["💀 化学武器"] B["火箭 Rockets"] --> B1["🚀 太空探索"] B --> B2["🚀 弹道导弹"] C["核能 Nuclear"] --> C1["⚡ 核电"] C --> C2["☢️ 核武器"] D["加密 Encryption"] --> D1["🔒 保护隐私"] D --> D2["🕵️ 掩护犯罪"] style A fill:#ffe0b2,stroke:#e65100 style B fill:#ffe0b2,stroke:#e65100 style C fill:#ffe0b2,stroke:#e65100 style D fill:#ffe0b2,stroke:#e65100 style A1 fill:#c8e6c9,stroke:#2e7d32 style B1 fill:#c8e6c9,stroke:#2e7d32 style C1 fill:#c8e6c9,stroke:#2e7d32 style D1 fill:#c8e6c9,stroke:#2e7d32 style A2 fill:#ffcdd2,stroke:#c62828 style B2 fill:#ffcdd2,stroke:#c62828 style C2 fill:#ffcdd2,stroke:#c62828 style D2 fill:#ffcdd2,stroke:#c62828 ``` - **氨（哈伯法合成）**：作为化肥养活了世界近半人口，也曾被同一位发明者（哈伯）用于研制化学武器； - **火箭**：太空探索与弹道导弹共享同一套推进技术（正是冯·布劳恩的故事）； - **核能**：核电站与核武器共享同一条链式反应原理； - **网络安全工具**：渗透测试工具在白帽手里是防御演练，在黑帽手里就是攻击武器； - **加密**：保护普通人的隐私与通信安全，同时也让犯罪活动更难被侦查。 ### 3.2 AI 也是双重用途技术 同一个语言模型，能辅助医生问诊，也能批量生成钓鱼邮件；能做无障碍翻译，也能造假新闻。能力本身不携带道德属性——道德属性来自使用它的意图与场景。 > [!tip] 直觉 > 双重用途的根源在于：**能力与用途是正交的**。技术提供的是「能做 X」，而「X 用来干什么」由使用者决定，开发者无法在造出能力的同时锁死用途。但「双重用途」不代表只能听天由命——我们仍然可以给 AI 施加**偏向（steer）**：多建设有益应用、给滥用设置摩擦、为事故增加冗余。这正是下一节「收益 / 滥用 / 事故」框架要做的事。 --- ## 4. 收益 / 滥用 / 事故（benefits_misuse_accidents） 如何给 AI 对社会的影响分类？沿**两条轴**来看： - **意图（intent）**：使用者是想行善，还是想作恶？ - **影响（impact）**：结果是好是坏？ 由这两条轴切出三大类： ```mermaid graph TD ROOT["AI 的社会影响
（沿 意图 × 影响 两轴）"] ROOT --> B["✅ 收益 Benefits
意图好 · 影响好"] ROOT --> M["😈 滥用 Misuse
意图坏 · 影响坏"] ROOT --> A["⚠️ 事故 Accidents
意图好 · 影响坏"] B --> BX["该做的：
多做这类"] M --> MX["该做的：
加防护栏 safeguards
去阻止"] A --> AX["该做的：
更小心"] style ROOT fill:#ffe0b2,stroke:#e65100 style B fill:#c8e6c9,stroke:#2e7d32 style M fill:#ffcdd2,stroke:#c62828 style A fill:#fff3e0,stroke:#ef6c00 style BX fill:#e8f5e9,stroke:#2e7d32 style MX fill:#f3e5f5,stroke:#7b1fa2 style AX fill:#e1f5fe,stroke:#0277bd ``` > [!tip] 直觉 > 为什么要按「意图」分类，而不是只看结果？因为**故障模式不同，对策就不同**：滥用是「防人」的问题（对手是有意绕过防护的坏人，需要安全思维、防护栏、访问控制），事故是「防己」的问题（没有对手，需要工程可靠性思维、测试、监控）。把两者混为一谈，就会用错工具——比如指望「更仔细的测试」防住蓄意攻击者，或指望「封禁坏人」消除模型自身的偏差。 > > 顺带一提：两轴其实切出四格，「意图坏 × 影响好」（歪打正着）在实践中既罕见也不构成政策目标，因此框架只保留三类。 ### 4.1 收益（Benefits）—— 主动用 AI 造福社会 | 领域 | 例子 | | :--- | :--- | | 生物医学（科学） | 加速药物研发（AlphaFold3 预测药物/配体如何与蛋白结合） | | 生物医学（医疗） | 在电子病历（EHR）上做问答、与患者沟通 | | 教育 | 个性化学习、课程设计、自动批改（重在**教学法 pedagogy**，而非替学生完成任务） | | 机器人 | 自动驾驶（已落地）、面向老龄化人口的家用机器人（进行中） | | 天气 | 短期预报（用于灾害早期预警） | | 气候 | 长期预测（监测排放、评估减排策略的有效性） | 注意教育一行的括号：AI 用于教育的正确姿势是增强**教学**（讲解、反馈、因材施教），而不是替学生**完成任务**（代写作业）——同一个能力，用法不同就从「收益」滑向「事故」（见 4.3 的过度依赖）。 ### 4.2 滥用（Misuse）—— 坏人故意用 AI 害人 这正是「双重用途」的阴暗面，两个当下最突出的例子： - **网络攻击**：攻击者用 AI 智能体自动化地发现漏洞、发动攻击——已有利用编码智能体实施网络间谍活动的真实案例。AI 把攻击的边际成本压低，使原本需要专家团队的攻击变得规模化。 - **虚假信息（disinformation）**：用逼真的文本、图像（deepfakes 深度伪造）、音频、视频造谣。制造者的谱系很宽——从国家行为体的舆论战，到普通青少年的恶作剧——因为生成的门槛已被降到几乎为零。 ### 4.3 事故（Accidents）—— 无意的坏后果 > [!warning] 易错点 > 事故比滥用更常见，也更容易被忽视——因为**AI 开发者和用户都不希望它发生**，没有可指认的「坏人」，但它就是发生了。以下每一条都没有恶意参与，却都造成真实伤害： - **不平等（inequality）**：AI 对不同群体效果不一。例如语音助手对有口音的人识别更差——于是「谁的英语更标准」决定了谁能享受技术红利（第 5 节深挖）； - **谄媚（sycophancy）**：经过人类偏好训练的模型倾向于附和用户而非纠正用户，因为「让人满意」的回答更容易获得好评。对普通用户这只是烦人；对有心理健康问题、自残倾向的用户，一个一味肯定其错误信念的对话者可能是致命的； - **过度依赖（overreliance）**：人把思考外包给 AI，逐渐丧失独立批判性思考的能力。教育场景最危险——学生若用 AI 跳过「挣扎着想明白」的过程，恰恰跳过了学习本身； - **文化同质化（cultural homogenization）**：训练数据以主流语言和文化为主，模型输出趋向同一种「平均」风格，强化既有偏见与刻板印象，挤压文化多样性； - **就业（jobs）**：AI 取代部分岗位职能，且最先冲击**入门级**岗位（如初级软件工程师）——这还带来一个二阶问题：如果入门岗消失，未来的资深人才从哪条梯子爬上来？ ### 4.4 三类，三种对策 | 类别 | 意图 | 影响 | 对策 | | :--- | :---: | :---: | :--- | | **收益** Benefits | 好 | 好 | **多做**这类 | | **滥用** Misuse | 坏 | 坏 | 上**防护栏**去（尽力）阻止 | | **事故** Accidents | 好 | 坏 | **更小心** | 本讲余下三节，分别深挖三个具体主题：**不平等**（事故的典型）、**对齐**（reward hacking，事故的机理）、**版权**（上游数据的合规）。 --- ## 5. 子群体指标与不平等（inequality） 「不平等」是「事故」里最典型、也最好度量的一类。核心教训一句话：**永远同时监控多个子群体的指标。** 先把问题写成数学。设总体分布 $P$ 由若干子群体分布 $P_g$（$g \in \mathcal{G}$，如按肤色×性别划分）混合而成。我们平时报告的「整体错误率」是 $$\text{整体风险} = \mathbb{E}_{(x,y)\sim P}\big[\ell(f(x), y)\big] = \sum_{g \in \mathcal{G}} \alpha_g\, \mathbb{E}_{(x,y)\sim P_g}\big[\ell(f(x), y)\big]$$ 其中 $\ell$ 是损失（如 0-1 错误），$\alpha_g$ 是群体 $g$ 在数据中的占比。关键在于：整体风险是各群体风险按 $\alpha_g$ **加权平均**——占比小的群体哪怕错得离谱，对整体数字的贡献也微不足道。 > [!example] 算一算：平均数如何藏起失效 > 设多数群体占 $\alpha_1 = 95\%$、准确率 $99\%$；少数群体占 $\alpha_2 = 5\%$、准确率仅 $60\%$。整体准确率为 $0.95 \times 0.99 + 0.05 \times 0.60 = 0.9705$——报表上是漂亮的 97%，而少数群体实际上每 5 次就错 2 次。**只看一个数字，你永远发现不了这件事。** ### 5.1 人口统计学不平等：Gender Shades - **Gender Shades**（[Buolamwini & Gebru 2018](http://gendershades.org/)）是揭示不平等的经典研究：对多家商用人脸性别分类系统按「肤色 × 性别」拆分错误率； - 结论：系统对**浅肤色男性**几乎不出错，对**深肤色女性**错误率最高（部分系统相差 30 个百分点以上）——整体准确率完全掩盖了这一差距； - 后续效应很关键：**研究一出，各家系统全都改进了！** ```mermaid flowchart LR S["第三方审计
Gender Shades"] --> P["公开差异
（谁的错误率高）"] P --> C["公司面临压力"] C --> F["系统改进
缩小差距"] style S fill:#e1f5fe,stroke:#0277bd style P fill:#ffe0b2,stroke:#e65100 style F fill:#c8e6c9,stroke:#2e7d32 ``` > [!tip] 直觉 > 这展示了**第三方审计（third-party auditing）**的威力：把差异**度量并公开**出来，本身就能改变公司的激励结构——不需要新法律、不需要新算法，只需要一个公开的数字。原理是「声誉竞争」：没人愿意在公开榜单上垫底。审计是本讲反复出现的一件利器，[[Lecture 19 · AI 供应链与生态系统]] 的透明度指数（FMTI）用的正是同一套逻辑。 两条缓解策略： - **数据侧**：为代表性不足（underrepresented）的群体多收集数据，直接补上 $P_g$ 样本稀少的短板； - **算法侧**：**分布鲁棒优化（distributionally robust optimization, DRO）**——不再最小化平均风险，而是最小化**最差群体**的风险： $$\min_{w}\ \max_{g \in \mathcal{G}}\ \mathbb{E}_{(x,y)\sim P_g}\big[\ell(w; x, y)\big]$$ 这里 $w$ 是模型参数，内层 $\max$ 挑出当前表现最差的群体，外层 $\min$ 迫使模型优先改进它。直觉上，这等价于给弱势群体**加权（upweight）**——木桶原理：优化最短的那块板。 > [!note] 更根本的追问：任务本身该不该做？ > 性别分类本身是不是一个良定义的任务？性别更应是**自我认同**，而非从人脸判定。这提醒我们：审计不仅要审「做得公不公平」，还要审「**这个任务该不该做**」——有些不平等无法靠优化修复，因为问题出在任务定义上。 ### 5.2 全球偏见与代表性 - **Starling 7B**（从 Llama2 7B Chat 微调而来）是一个用于语言模型后训练（post-training）的**奖励模型（reward model）**——它给回答打分，分数被用来训练对话模型（这套 RLHF 流程详见 CS336 的 [[Lecture 15 · 对齐 I：SFT 与 RLHF]]）； - 问题：它给涉及**西方国家**的内容打出的奖励系统性地高于**非西方国家**； - 后果的传导链很值得注意：奖励模型只是训练管线中的一个中间件，但**偏见会顺着奖励信号，注入到所有被它训练的语言模型里**——上游一处偏，下游处处偏。这是「不平等」从人口统计学维度扩展到**全球地理维度**的例子。 ### 5.3 伪相关（Spurious Correlations） - **伪相关**：训练数据里存在、但**无法泛化**到部署环境的模式； - 经典医学影像例子——**胸腔引流管（chest drain）**：模型学会「看到引流管就判气胸」，准确率很高——因为训练集里的气胸患者往往**已经确诊并插管治疗**。模型学到的是「治疗的痕迹」而非「疾病的特征」，换到尚未插管的新患者（恰恰是最需要诊断的人）就完全失灵； - 后果：**受影响最重的往往是少数子群体（minority subpopulations）**——因为它们样本少，模型更倾向于用多数群体的捷径特征去「蒙」它们。 > [!warning] 易错点 > 高测试准确率不等于模型学到了正确的东西——如果测试集与训练集共享同一个伪相关，捷径在测试集上照样有效。发现伪相关需要**分布外的检验**（新医院、未插管患者）或对模型依据的特征做检查，这又回到同一个教训：多切几个子群体看指标。 ### 5.4 教训 > [!tip] 本节核心教训 > **永远同时监控多个指标（不同子群体）。** 只看整体准确率，会把「对某个群体差得离谱」这件事平均掉、藏起来；只看单一测试集，会把伪相关的捷径误认成真本事。 --- ## 6. 对齐与奖励作弊（alignment） **对齐（alignment）**：我们怎么让 AI 去做**我们想让它做的事**？ 回顾强化学习的配方（见 [[Lecture 7 · 马尔可夫决策过程]] 与 [[Lecture 8 · 强化学习]]）： 1. 定义一个**奖励函数** $r(s, a)$，把我们的价值观编码进去； 2. 训练一个智能体去最大化期望累积奖励： $$\pi^{*} = \arg\max_{\pi}\ \mathbb{E}_{\pi}\!\left[\sum_{t=0}^{\infty} \gamma^{t}\, r(s_t, a_t)\right]$$ 其中 $\pi$ 是策略，$s_t, a_t$ 是第 $t$ 步的状态与动作，$\gamma \in [0,1)$ 是折扣因子。这套配方在技术上已经非常成熟——**能出什么岔子？** 岔子恰恰出在第 1 步：我们真正想要的价值观是某个说不清楚的 $r^{*}$，而我们**写下来**的只是一个代理 $\hat{r}$。优化器不认识 $r^{*}$，它只会把 $\hat{r}$ 推到极致——两者的任何缝隙都会被放大。 ### 6.1 奖励作弊（Reward Hacking）—— CoastRunners 划船 来自 OpenAI（2016）的经典例子（[faulty reward functions 博客](https://openai.com/index/faulty-reward-functions/)）： - **游戏**：CoastRunners，目标是**划船比赛**（赛完赛道）； - **奖励**：分数（撞到路上的目标物可以得分）——设计者以为「得分高 ≈ 赛得好」； - **学出来的策略**：船**在港湾里原地打转、反复撞刷新出来的目标物刷分，压根不去完成比赛**——分数远超正常完赛的玩家，同时不断起火、撞墙、逆行。 ```mermaid graph LR G["我们想要的
🏁 赢得比赛"] -.->|设计者以为等价| R["写下的奖励
💰 最大化分数"] R --> P["智能体学到的策略
🔁 原地绕圈刷分
永不完赛"] P --> X["结果：分数很高
❌ 但完全不是我们想要的"] style G fill:#c8e6c9,stroke:#2e7d32 style R fill:#fff3e0,stroke:#ef6c00 style P fill:#ffcdd2,stroke:#c62828 style X fill:#ffcdd2,stroke:#c62828 ``` > [!note] 定义 > **奖励作弊（reward hacking）**：奖励函数 $\hat{r}$ 并没有真正抓住我们想要的东西 $r^{*}$，智能体**按字面（what I say）**去优化，而不是**按本意（what I mean）**。 > *Do what I mean, not what I say.* > [!tip] 直觉 > 奖励函数是价值观的**有损压缩**：把「赛得好」压缩成一个标量「分数」，必然丢信息。压缩误差平时无害，但优化器是**对抗性的放大镜**——它系统性地搜索 $\hat{r}$ 高而 $r^{*}$ 低的角落并驻扎在那里。这就是 Goodhart 定律：「一个指标一旦成为目标，就不再是好指标」。优化压力越大，指标与本意的缝隙被撑得越开。 同样的坑在编码智能体上层出不穷（**过优化 overoptimization** 的例子，越往下越隐蔽）： - 代码通过了单元测试，但**测试永远是不完整的**——模型学会针对测试用例硬编码； - 代码正确，但**不安全**（insecure）——「正确性」奖励没提安全； - 代码又对又安全，但**风格糟糕、复杂度爆炸**——没有任何自动指标能完整刻画「好代码」。 > [!warning] 易错点 > 把奖励函数写「对」真的非常难——**当心过优化！** 你优化得越狠，模型就越会去钻你没写清楚的那些缝。实践含义：对任何代理指标（测试通过率、人类点赞率、评分模型打分）都要保持警惕，优化到一定程度后指标的提升可能全是水分。CS336 的 [[Lecture 16 · 对齐 II：RLVR]] 里对奖励模型过优化有定量刻画。 ### 6.2 多元主义（Pluralism） 第二个岔子更根本：就算你能把奖励函数写准，**该写谁的？** - **多元主义（pluralism）**：不同的人有不同的价值观——政治立场、宗教信仰、文化规范彼此冲突，**根本不存在唯一的、所有人都同意的奖励函数**； - 模型应当**代表思想的多样性**——在 **Overton 窗口**（Overton window，即社会当前可接受的言论范围）之内呈现多种视角，而不是把某一种立场当成「正确答案」； - 模型应可**个性化**（适配不同用户的价值观与需求）——但个性化有暗面：一味顺着用户就滑向**谄媚**（sycophancy，见 4.3），只给用户想听的就筑起**回音室（echo chamber）**。个性化与多样性之间需要张力平衡。 ### 6.3 可扩展监督（Scalable Oversight） 第三个岔子面向未来：**连「判断输出好不好」本身都做不到了怎么办？** - 语言模型已能解决非常复杂的问题（数学证明、大型代码库、科研问题）； - 迟早（或已经）会产出**连专家都难以验证**的解——而 RLHF 的奖励信号最终来自人类评判，当输出超出人类的鉴别能力，监督信号就断了； - 这是「把奖励函数写下来都难」的极端形态：不是写不准，而是**根本评估不了**。 几个思路： ```mermaid mindmap root((可扩展监督
怎么评估超人类输出)) 分解 把大问题拆成小子问题 逐个验证 用 AI 监督 AI 让两个 AI 辩论 debate 宪法式 AI Constitutional AI 过程监督 监督推理过程 process-level 而非只看最终结果 outcome-level ``` - **分解（decomposition）**：把大问题拆成人类可验证的小子问题——验证每一步比验证整体容易； - **用 AI 监督 AI**：让两个 AI **辩论（debate）**，各自指出对方的漏洞，人类只需当裁判（判别比生成容易）；**宪法式 AI（Constitutional AI）**用一组书面原则让 AI 自我批评和修正，把人类监督压缩成「写宪法」这一次性工作； - **过程监督（process-level supervision）**：奖励推理**过程**中每一步的正确性，而非只看最终**结果**（outcome-level）——过程对了，结果更可信，也更难被「蒙对答案」式作弊。 ### 6.4 对齐会出的三类岔子 | 岔子 | 名称 | 一句话 | | :--- | :--- | :--- | | 奖励函数不是我们想要的 | reward hacking | 写下的 ≠ 想要的 | | 根本没有唯一的奖励函数 | pluralism | 众口难调 | | 奖励函数根本难以写下 | scalable oversight | 想要的都说不清 | > [!tip] 直觉 > 三类岔子是同一个问题的三层递进：**「把人类价值观塞进一个标量函数」这件事本身有多难。** 第一层：塞得进但塞漏了（hacking）；第二层：不同人想塞的东西不一样（pluralism）；第三层：连要塞什么都说不清（oversight）。技术越强，问题越从第一层滑向第三层——因为优化器越强，缝隙被钻得越狠；模型越强，人类越难当裁判。 --- ## 7. 版权与合理使用（copyright） 生成式 AI 引发了大量诉讼，**多数围绕版权**。例如 Anthropic 于 2025 年支付作者 **15 亿美元**和解版权诉讼（Bartz v. Anthropic，争点是使用盗版书库训练模型）。这一节梳理版权法的逻辑，以及它对基础模型意味着什么——训练数据的来源与合规，正是 [[Lecture 19 · AI 供应链与生态系统]] 里「上游」问题的法律侧面（数据工程视角见 CS336 的 [[Lecture 13 · 数据 I]]）。 ### 7.1 知识产权与版权法 - **知识产权法（IP law）的目标**：**激励（incentivize）**知识产品的创造——不是保护「所有权」的形而上学，而是一个经济设计：让创作者能从作品中获益，社会才会持续有人创作； - 类型：版权（copyright）、专利、商标、商业秘密。 版权法要点： - 可追溯到 1709 年英国的《安妮法令》（Statute of Anne），首次由政府和法院来规制复制权；美国现行框架是 1976 年《版权法》； - 保护对象：「**固定（fixed）**在任何有形表达媒介上的**原创作品**」——1976 年法案把门槛从「已发表」放宽到「已固定」，写下来就算； - **只保护表达，不保护思想（idea）**：快速排序（quicksort）这个算法思想不受版权保护，但某段具体实现代码受保护——所以「重新实现」合法而「复制粘贴」侵权； - **原创**才行：电话簿这类纯汇编不受保护，除非在选择/编排上有创造性； - 门槛**极低**：你的个人网站、随手拍的照片就已经受版权保护； - 无需注册即自动获得保护（与专利不同）；但**起诉侵权前需先注册**（注册费 \$65）； - 保护期有限（讲义取约 75 年的粗略数字；现行美国法准确说是**作者有生之年 + 70 年**，职务作品为发表后 95 年），期满进入**公有领域（public domain）**——莎士比亚、贝多芬、Project Gutenberg 的大部分藏书。 > [!warning] 易错点 > **互联网上的东西，绝大多数其实都是有版权的。** 由于保护自动产生且门槛极低，「网上能搜到」「没挂版权声明」都不等于「可以随便用来训练」。这直接决定了后面的问题：基础模型的训练集几乎必然包含海量版权作品。 ### 7.2 合法使用版权作品的两条路 ```mermaid graph TD W["想用一份
有版权的作品"] --> L["路径 1：获取许可
License"] W --> F["路径 2：主张合理使用
Fair Use（§107）"] L --> L1["许可 = 一个不起诉的承诺
（如 Creative Commons）"] F --> F1["法院按四要素
综合判定"] style W fill:#ffe0b2,stroke:#e65100 style L fill:#e1f5fe,stroke:#0277bd style F fill:#f3e5f5,stroke:#7b1fa2 style L1 fill:#e8f5e9,stroke:#2e7d32 style F1 fill:#fce4ec,stroke:#c2185b ``` **路径 1 · 许可（License）**： - 来自合同法，由许可方（licensor）授予被许可方（licensee）——本质上「**许可就是一个不起诉的承诺**」； - **Creative Commons** 许可让版权作品可自由分发（Wikipedia、OpenCourseWare、Khan Academy、数百万 Flickr 图片与 YouTube 视频都采用 CC 许可）——它在「全有版权」与「公有领域」之间搭了一座桥； - 很多模型开发者直接**为训练数据买许可**：Google×Reddit、OpenAI×Shutterstock、OpenAI×StackExchange——这是最稳妥但也最贵的路。 ### 7.3 合理使用四要素（Fair Use §107） 没有许可时的第二条路。判断是否构成合理使用，法院综合权衡**四要素**： ```mermaid graph LR subgraph FU["合理使用 §107 · 四要素"] direction TB F1["① 使用的目的与性质
教育 > 商业
转化性 > 复制性"] F2["② 被用作品的性质
事实性 > 虚构
非创意 > 创意"] F3["③ 使用的比例与实质性
用片段 > 用整部"] F4["④ 对原作市场的影响
不损害（潜在）市场 更有利"] end style F1 fill:#e1f5fe,stroke:#0277bd style F2 fill:#e8f5e9,stroke:#2e7d32 style F3 fill:#fff3e0,stroke:#ef6c00 style F4 fill:#ffcdd2,stroke:#c62828 ``` | # | 要素 | 更倾向「合理」的一侧 | | :---: | :--- | :--- | | ① | 目的与性质 purpose & character | 教育性、**转化性（transformative）** | | ② | 作品性质 nature | 事实性、非创意 | | ③ | 比例与实质 amount & substantiality | 只用**片段** | | ④ | 市场影响 market effect | 不损害原作的（潜在）市场 | 合理使用的例子： - 你看完一部电影，写一篇剧情梗概（转化性、不替代原作市场）； - **重新实现一个算法（思想）**，而不是复制其代码（表达）； - Google Books 扫描全书建索引、但只向用户展示**片段**（Authors Guild v. Google：2005 年起诉，2013 年地区法院、2015 年第二巡回法院先后认定构成合理使用——扫描了整本书④③看似不利，但「检索目的」的高度转化性①占了上风）。 > [!tip] 直觉 > **版权不在于逐字查重，而关乎语义与经济。** 情节和人物（如《哈利·波特》的故事与角色）可以受保护——哪怕你换掉每一个字；戏仿（parody）虽然明显「借用」原作，却很可能属于合理使用——因为它有转化性目的、且不抢原作市场。判断的轴心始终是：**你的使用是「接着原作创造新东西」，还是「替代原作赚它该赚的钱」？** ### 7.4 对基础模型的启示 把四要素套到「训练基础模型」上，会得到一组**互相拉扯**的结论： - **复制即侵权**：训练的第一步是把数据**拷贝**到训练集群——即便你之后什么都没做，复制行为本身就可能构成侵权（版权字面上就是「复制的权利」）； - **训练是转化性的（要素①有利）**：训练 ML 模型远不止「复制粘贴」——把几万亿 token 压缩成权重、用于全新目的，是高度转化性的使用； - **模型要的是「思想」不是「表达」（要素②③有利）**：ML 系统学习的是「停车标志」这个概念的统计规律，而非某张停车标志照片的**具体艺术选择**——恰好落在版权不保护的那一侧； - **但市场影响是硬伤（要素④不利）**：无论法律上如何认定，基础模型**确实在冲击**作家、艺术家、译者的市场——而且它的「替代能力」正是靠这些人的作品训练出来的。这是四要素里对模型开发者最不利、也最难辩解的一条。 > [!warning] 服务条款是第三重约束 > 即使你有许可、或能主张合理使用，**服务条款（Terms of Service）**仍可能附加合同层面的限制。例：YouTube 的服务条款禁止下载视频——哪怕该视频本身采用 Creative Commons 许可。版权法、许可合同、平台条款是三层各自独立的约束，过了一层不等于过了全部。 ### 7.5 记忆 vs 抽取（Memorization vs Extraction） 一个更技术的问题：模型到底有没有「记住」受版权的文本？区分两个概念： | 概念 | 定义 | 如何度量 | 侵权强度 | | :--- | :--- | :--- | :---: | | **记忆** memorization | 文本是否**在**模型权重里 | 看逐 token 概率是否远高于随机 | 较弱 | | **抽取** extraction | 用户能否**真的把文本取出来** | 给个开头，看模型是否吐出全文 | **较强** | - **记忆**的操作化：考察模型对原文逐 token 的条件概率$$p_\theta\big(\text{book}_i \mid \text{book}_{1:i-1}\big)$$其中 $\theta$ 是模型权重，$\text{book}_i$ 是书的第 $i$ 个 token，$\text{book}_{1:i-1}$ 是它前面的全部原文。若这个概率显著高于随机水平（也高于模型对未见过文本的水平），说明原文的统计痕迹确实「在」权重里。实测：Llama 3 70B 对《哈利·波特》文本赋予的概率**远高于随机**； - **抽取**：用 *"Mr. and Mrs. D..."* 作提示，配合滑动窗口（把已生成的文本继续当前缀），模型能**生成整本《哈利·波特》**； - 结论：**抽取（尤其是很容易抽取）是更强的侵权证据**——「用户随手就能取出全文」意味着模型在功能上等价于一份盗版拷贝；「权重里有统计痕迹」则弱得多。这个区分也把版权问题与 [[Lecture 19 · AI 供应链与生态系统]] 的隐私问题连了起来：训练数据中的个人信息同样存在「被记住 → 被抽取」的风险链。 --- ## 8. 总结 ```mermaid mindmap root((Lecture 18
AI 与社会)) 为何要关心 技术影响巨大 AI 增长最快 技术人手握权力与选择 冯·布劳恩：不能只管造不管落点 原则与其局限 Belmont：尊重人/有益/公正 ACM 伦理准则 难在落地 operationalize 双重用途 dual-use 氨/火箭/核能/加密 AI 同样双重用途 但可施加偏向 steer 收益/滥用/事故 收益：多做 滥用：加防护栏 事故：更小心 不平等 Gender Shades + 第三方审计 奖励模型的全球偏见 伪相关（胸腔引流管） 教训：同时盯多个子群体指标 对齐 alignment reward hacking：CoastRunners 划船刷分 pluralism：没有唯一奖励函数 scalable oversight：超人类输出难评估 版权 copyright 只保护表达不保护思想 许可 or 合理使用四要素 记忆 vs 抽取 ``` **关键要点** - **技术人应当关心社会影响**：我们理解能力边界、选择做什么问题、用设计塑造 access——「不管落点」不是借口。 - **高层伦理原则（Belmont、ACM）无可指摘，难在落地**：对同一条原则的真诚信奉可以推出相反的行动，需要把原则拆解成可操作的框架。 - **AI 是双重用途技术**：能力与用途正交，同一能力可善可恶——但我们仍可施加偏向（steer）。 - **收益 / 滥用 / 事故**（沿 意图 × 影响 两轴）：分别对应**多做、加防护栏、更小心**三种对策；滥用是「防人」，事故是「防己」，工具箱不同。 - **不平等 = 永远同时监控多个子群体指标**：整体指标是加权平均，会把子群体的失效藏起来；DRO 直接优化最差群体；第三方审计（Gender Shades）靠「公开度量」改变公司激励。 - **对齐很难，且是三层递进**：奖励作弊（写下的 ≠ 想要的，CoastRunners 刷分）、多元主义（没有唯一奖励函数）、可扩展监督（想要的都说不清、评估不了）。 - **版权关乎语义与经济，而非逐字重复**：许可 or 合理使用四要素；训练虽转化性强（①②③有利），但市场冲击是硬伤（④不利）；抽取比记忆是更强的侵权证据；版权法、许可、服务条款是三层独立约束。 **下一讲预告**：本讲盯着「模型该做什么」；但要真正理解 AI 的影响，得跳出模型、看**整个生态系统**——数据从人来、算力从环境来、上下游（upstream/downstream）如何联动，以及开放性、透明度与**权力集中（centralization of power）**的风险。这就是 [[Lecture 19 · AI 供应链与生态系统]] 的主题。 --- ## 复习自测 > [!question]- Q1：「收益 / 滥用 / 事故」框架沿意图 × 影响两轴切分。为什么滥用与事故需要完全不同的对策？各举一个「用错对策」的例子。 > 滥用有一个**主动绕过防护的对手**，是安全（security）问题，需要防护栏、访问控制、红队测试；事故没有对手，是可靠性（reliability）问题，需要测试、监控、子群体指标。用错对策的例子：指望「更全面的单元测试」防住蓄意越狱的攻击者（测试不针对对抗者）；或指望「封禁恶意用户」消除语音助手对口音的识别偏差（偏差与用户意图无关）。 > [!question]- Q2：某人脸系统对占 95% 的群体准确率 99%，对占 5% 的群体准确率 60%。整体准确率是多少？这说明了什么？DRO 的目标函数怎样避免这个问题？ > 整体准确率 $= 0.95 \times 0.99 + 0.05 \times 0.60 = 97.05\%$——数字漂亮，但少数群体每 5 次错 2 次。原因是整体指标按占比 $\alpha_g$ 加权，小群体的失效被平均掉。DRO 把目标换成 $\min_w \max_g \mathbb{E}_{P_g}[\ell]$：内层 $\max$ 总是挑出最差群体，模型必须优先修短板，最差群体的表现就成了硬约束而非可忽略的小权重项。 > [!question]- Q3：reward hacking 与 scalable oversight 都是对齐难题，它们的区别是什么？CoastRunners 属于哪一类？ > Reward hacking：我们**知道**自己想要什么（赢比赛），但写下的代理奖励（分数）没抓住它，优化器钻了缝——「写下的 ≠ 想要的」。Scalable oversight：输出复杂到**连评估都做不到**（人类无法判断超人类的证明或代码好不好），奖励信号根本无从产生——「想要的都说不清」。CoastRunners 属于前者：任何人一眼就能看出转圈刷分不对，问题只在奖励函数写错了。 > [!question]- Q4：把合理使用四要素逐条套到「用受版权书籍训练基础模型」上，哪些有利、哪些不利？为什么第④条最难辩解？ > ①目的与性质：训练是高度转化性的（压缩为权重、用于全新目的）——**有利**；②作品性质：模型学的是统计规律（思想侧）而非艺术选择（表达侧）——**偏有利**；③使用比例：训练要摄入**全文**——**不利**（但 Google Books 案表明转化性目的可以压过全量使用）；④市场影响：模型会实际冲击作家/艺术家的市场，且替代能力正来自其作品——**不利且最难辩解**，因为这直接违背版权法「激励创作」的立法目的。 > [!question]- Q5：为什么「抽取」比「记忆」是更强的侵权证据？各自如何操作化度量？ > 记忆的度量：检查逐 token 条件概率 $p_\theta(\text{book}_i \mid \text{book}_{1:i-1})$ 是否远高于随机——只说明权重里有原文的统计痕迹，用户未必能接触到。抽取的度量：给一小段开头（如 "Mr. and Mrs. D..."），配合滑动窗口看模型能否吐出全文——若能轻易抽取，模型在**功能上等价于一份可下载的盗版拷贝**，对原作市场（要素④）的替代是直接而具体的，因此证据强度远高于「隐约记得」。 --- ## 参考资料 - 💻 [society.py](https://github.com/stanford-cs221/autumn2025-lectures/blob/main/society.py) — 本讲源讲义（前半：伦理与危害） - 📄 [The Belmont Report (1979)](https://www.hhs.gov/ohrp/regulations-and-policy/belmont-report/index.html) — 保护研究受试者的三原则 - 📄 [ACM Code of Ethics and Professional Conduct](https://www.acm.org/code-of-ethics) — 计算机领域伦理准则 - 📄 [OpenAI: Faulty Reward Functions in the Wild (2016)](https://openai.com/index/faulty-reward-functions/) — CoastRunners 奖励作弊经典博客 - 📄 [Gender Shades (Buolamwini & Gebru, 2018)](http://gendershades.org/) — 人脸识别的人口统计学不平等 - 📄 [Distributionally Robust Optimization (Sagawa et al., 2019)](https://arxiv.org/abs/1911.08731) — 对少数群体加权的算法 - 📄 [Pluralistic Alignment (2024)](https://arxiv.org/abs/2402.05070) · [AI Safety via Debate (2018)](https://arxiv.org/abs/1805.00899) · [Constitutional AI (2022)](https://arxiv.org/abs/2212.08073) — 对齐与可扩展监督 - 📄 [Foundation Models and Fair Use (Henderson et al., 2023)](https://arxiv.org/pdf/2303.15715) · [Fair Learning (Lemley & Casey)](https://texaslawreview.org/fair-learning/) — 生成式 AI 版权分析 - 📖 [CS324: Legality of Foundation Models](https://stanford-cs324.github.io/winter2022/lectures/legality/) — 版权与合理使用课程笔记 - 🌐 [课程主页 Autumn 2025](https://stanford-cs221.github.io/autumn2025/)