工作台课程

CS221 · 人工智能：原理与技术

Lecture 18 · AI 与社会

源文件：lecture-18.md

Lecture 18 · AI 与社会

CS221: Artificial Intelligence — Principles and Techniques · Stanford · Autumn 2025
📅 Nov 19 · 💻 society.py（前半：伦理与危害）

从技术到社会

前面所有讲（纯技术）：这门课到目前为止一直在回答「怎么把 AI 造出来、造得更强」——

  • 机器学习模块：张量与梯度、线性回归/分类、深度学习，核心是「从数据中学出一个函数」；
  • 状态型模型模块：搜索（世界确定）、MDP（世界不确定）、博弈（世界里有对手）；
  • 推理模块：贝叶斯网络（概率推理）、命题/一阶逻辑（逻辑推理）；
  • 上一讲 Lecture 17 · 语言模型 则把这些线索汇聚到了当下最强大的一类系统上。

本讲（社会影响）：视角发生根本转变——不再问「怎么把模型做得更强」，而是问「这项技术落到社会上会发生什么」。

  • 核心难点：AI 是双重用途技术（dual-use technology）——同一个能力既能行善也能作恶，且后果充满不确定性；
  • 本讲的总目标可以概括成三件事：多做有益应用（benefits）、阻止滥用（misuse）、防范事故（accidents）。

说明

这是一讲偏思辨的课，没有算法、几乎没有公式。技术人往往觉得「我只管把东西造出来，后果让别人操心」——本讲的第一件事，就是拆掉这个借口；余下的部分，则展示「关心社会」如何落成可操作的框架（分类、审计、度量、法律分析），而不是停留在口号上。

1. 为何技术人要关心社会（why_care）

问题很直接：我们这些搞技术的，为什么要上这一讲、要关心社会？讲义给出三个理由，层层递进。

1.1 技术对社会有巨大影响

历史上，互联网、移动电话、社交网络，每一样通用技术都深刻重塑了社会的运转方式——信息如何流动、人如何交往、工作如何组织。AI 在这条谱系上尤其特殊：它是历史上采用速度最快的技术，ChatGPT 已达到 8 亿周活跃用户。技术的影响力越大，「不管后果」的代价就越高：一个只影响几千人的工具出了偏差无伤大雅，一个嵌入几亿人日常生活的系统出了偏差，就是社会级的问题。

1.2 技术人手握巨大的权力

我们比任何人都清楚这项技术能做什么、不能做什么——这种理解本身就是权力。于是很多关键决定其实握在工程师手里：

  • 我们选择投入哪些问题：做医疗问答还是做广告点击率，这个选择决定了 AI 的红利先流向谁；
  • 我们做的设计选择塑造了谁能用、怎么用（access）：例如支持哪些语言——只支持英语，就把全球大多数人挡在门外；
  • 要不要公开基础模型的权重（release weights）：这决定了谁有能力在其上构建与审查（这条线索会在 Lecture 19 · AI 供应链与生态系统 展开成「开放性谱系」）；
  • 允许哪些请求、拒绝哪些请求：模型的拒答策略就是一部由工程师起草的「行为准则」。

提示

这些看似纯技术的开关，实际上是在替社会做价值判断。「支持哪些语言」不是工程细节，而是「谁被服务、谁被忽略」；「拒绝哪些请求」不是产品策略，而是「什么言论被允许」。既然价值判断无法避免，那就应当有意识地做，而不是在无意识中做。

1.3 「只管造，后果别人担」行不行？

一个极端的历史反例——Wernher von Braun（冯·布劳恩）：二战期间他为纳粹德国研制 V-2 火箭（曾轰炸伦敦），战后被带到美国，又主导了阿波罗登月的运载火箭。讽刺歌手 Tom Lehrer 专门写过一首以他为名的歌挖苦这种心态，大意是：火箭一旦升空，落在哪儿就不归他管了——「那不是我部门的事」。

同一套火箭技术，可以送人上月球，也可以当弹道导弹砸向城市。造它的人，真的能说「落点不归我管」吗？讲义的立场很明确：不能。理解技术的人恰恰是最有条件预见落点的人，预见的能力带来相应的责任。

说明

好，我们决定要关心社会了。然后呢？ 「关心」需要抓手——下一节先看看前人给出的抓手（伦理原则），以及它们为什么不够用。

2. 高层伦理原则及其局限（principles）

总目标：确保 AI 的发展造福而非危害社会。历史上已有不少高层伦理宣言试图给出行为准则，值得先了解两份代表作。

2.1 Belmont Report（1979）

  • 背景是 Tuskegee 梅毒实验的伦理丑闻：从 1932 年起，美国公共卫生署对一批患梅毒的非裔美国男性故意不予治疗（即使 1940 年代青霉素已成为标准疗法），只为观察病程自然发展；实验持续 40 年，直到 1972 年被媒体曝光。
  • 舆论震动促使美国国会于 1974 年通过《国家研究法案》并成立专门委员会，委员会于 1979 年发布 Belmont Report，确立了保护研究中人类受试者的伦理基线。
  • 三条原则：
原则 英文 含义
尊重人 respect for persons 知情同意（informed consent）：受试者须自愿且知情
有益 beneficence 最大化收益、最小化伤害
公正 justice 不让某些群体承担不成比例的负担

Tuskegee 实验三条全违反：受试者不知情、只受害不受益、且负担全部压在一个弱势群体身上——这正是三原则各自要堵住的漏洞。

2.2 ACM 伦理准则

计算机领域自己的版本（ACM Code of Ethics）罗列了从业者的义务：促进人类福祉、避免伤害、诚实、公平、为原作者署名致谢、尊重隐私、恪守保密。

2.3 原则的局限

这些原则看上去都无可指摘——谁会反对「避免伤害」呢？

注意

真正的难题不在于「同不同意这些原则」，而在于怎么把它们落地（operationalize）。「最小化伤害」在一个具体的模型发布决策里，到底意味着什么？发布开放权重是「促进福祉」（更多人能用）还是「造成伤害」（坏人也能用）？原则给了方向，却没给操作手册——对同一条原则的真诚信奉，可以推出完全相反的行动。

提示

把伦理原则类比成宪法：宪法条文人人赞成，但真正决定案件的是判例和法理。本讲余下部分做的就是「判例」的工作——把「造福社会」拆解成可分析的框架（双重用途 → 三分类 → 逐个深挖），在「从原则到操作」的鸿沟上搭桥。

3. 双重用途技术（dual_use_technology）

我们想开发造福社会的 AI。难点在于：我们无法完全控制它被怎么用。

说明

双重用途技术（dual-use technology）：既能用来造福、也能用来伤害人的技术。

3.1 历史上的双重用途技术

graph LR
    A["氨 Ammonia"] --> A1["🌾 农业化肥"]
    A --> A2["💀 化学武器"]
    B["火箭 Rockets"] --> B1["🚀 太空探索"]
    B --> B2["🚀 弹道导弹"]
    C["核能 Nuclear"] --> C1["⚡ 核电"]
    C --> C2["☢️ 核武器"]
    D["加密 Encryption"] --> D1["🔒 保护隐私"]
    D --> D2["🕵️ 掩护犯罪"]

    style A fill:#ffe0b2,stroke:#e65100
    style B fill:#ffe0b2,stroke:#e65100
    style C fill:#ffe0b2,stroke:#e65100
    style D fill:#ffe0b2,stroke:#e65100
    style A1 fill:#c8e6c9,stroke:#2e7d32
    style B1 fill:#c8e6c9,stroke:#2e7d32
    style C1 fill:#c8e6c9,stroke:#2e7d32
    style D1 fill:#c8e6c9,stroke:#2e7d32
    style A2 fill:#ffcdd2,stroke:#c62828
    style B2 fill:#ffcdd2,stroke:#c62828
    style C2 fill:#ffcdd2,stroke:#c62828
    style D2 fill:#ffcdd2,stroke:#c62828
  • 氨（哈伯法合成）：作为化肥养活了世界近半人口，也曾被同一位发明者（哈伯）用于研制化学武器；
  • 火箭：太空探索与弹道导弹共享同一套推进技术（正是冯·布劳恩的故事）；
  • 核能：核电站与核武器共享同一条链式反应原理；
  • 网络安全工具：渗透测试工具在白帽手里是防御演练，在黑帽手里就是攻击武器；
  • 加密：保护普通人的隐私与通信安全，同时也让犯罪活动更难被侦查。

3.2 AI 也是双重用途技术

同一个语言模型，能辅助医生问诊，也能批量生成钓鱼邮件；能做无障碍翻译，也能造假新闻。能力本身不携带道德属性——道德属性来自使用它的意图与场景。

提示

双重用途的根源在于：能力与用途是正交的。技术提供的是「能做 X」，而「X 用来干什么」由使用者决定，开发者无法在造出能力的同时锁死用途。但「双重用途」不代表只能听天由命——我们仍然可以给 AI 施加偏向（steer）：多建设有益应用、给滥用设置摩擦、为事故增加冗余。这正是下一节「收益 / 滥用 / 事故」框架要做的事。

4. 收益 / 滥用 / 事故（benefits_misuse_accidents）

如何给 AI 对社会的影响分类？沿两条轴来看：

  • 意图（intent）：使用者是想行善，还是想作恶？
  • 影响（impact）：结果是好是坏？

由这两条轴切出三大类：

graph TD
    ROOT["AI 的社会影响<br/>（沿 意图 × 影响 两轴）"]

    ROOT --> B["✅ 收益 Benefits<br/>意图好 · 影响好"]
    ROOT --> M["😈 滥用 Misuse<br/>意图坏 · 影响坏"]
    ROOT --> A["⚠️ 事故 Accidents<br/>意图好 · 影响坏"]

    B --> BX["该做的：<br/>多做这类"]
    M --> MX["该做的：<br/>加防护栏 safeguards<br/>去阻止"]
    A --> AX["该做的：<br/>更小心"]

    style ROOT fill:#ffe0b2,stroke:#e65100
    style B fill:#c8e6c9,stroke:#2e7d32
    style M fill:#ffcdd2,stroke:#c62828
    style A fill:#fff3e0,stroke:#ef6c00
    style BX fill:#e8f5e9,stroke:#2e7d32
    style MX fill:#f3e5f5,stroke:#7b1fa2
    style AX fill:#e1f5fe,stroke:#0277bd

提示

为什么要按「意图」分类，而不是只看结果？因为故障模式不同，对策就不同：滥用是「防人」的问题（对手是有意绕过防护的坏人，需要安全思维、防护栏、访问控制），事故是「防己」的问题（没有对手，需要工程可靠性思维、测试、监控）。把两者混为一谈，就会用错工具——比如指望「更仔细的测试」防住蓄意攻击者，或指望「封禁坏人」消除模型自身的偏差。

顺带一提：两轴其实切出四格，「意图坏 × 影响好」（歪打正着）在实践中既罕见也不构成政策目标，因此框架只保留三类。

4.1 收益（Benefits）—— 主动用 AI 造福社会

领域 例子
生物医学（科学） 加速药物研发（AlphaFold3 预测药物/配体如何与蛋白结合）
生物医学（医疗） 在电子病历（EHR）上做问答、与患者沟通
教育 个性化学习、课程设计、自动批改（重在教学法 pedagogy，而非替学生完成任务）
机器人 自动驾驶（已落地）、面向老龄化人口的家用机器人（进行中）
天气 短期预报（用于灾害早期预警）
气候 长期预测（监测排放、评估减排策略的有效性）

注意教育一行的括号：AI 用于教育的正确姿势是增强教学（讲解、反馈、因材施教），而不是替学生完成任务（代写作业）——同一个能力，用法不同就从「收益」滑向「事故」（见 4.3 的过度依赖）。

4.2 滥用（Misuse）—— 坏人故意用 AI 害人

这正是「双重用途」的阴暗面，两个当下最突出的例子：

  • 网络攻击：攻击者用 AI 智能体自动化地发现漏洞、发动攻击——已有利用编码智能体实施网络间谍活动的真实案例。AI 把攻击的边际成本压低，使原本需要专家团队的攻击变得规模化。
  • 虚假信息（disinformation）：用逼真的文本、图像（deepfakes 深度伪造）、音频、视频造谣。制造者的谱系很宽——从国家行为体的舆论战，到普通青少年的恶作剧——因为生成的门槛已被降到几乎为零。

4.3 事故（Accidents）—— 无意的坏后果

注意

事故比滥用更常见，也更容易被忽视——因为AI 开发者和用户都不希望它发生，没有可指认的「坏人」，但它就是发生了。以下每一条都没有恶意参与，却都造成真实伤害：

  • 不平等（inequality）：AI 对不同群体效果不一。例如语音助手对有口音的人识别更差——于是「谁的英语更标准」决定了谁能享受技术红利（第 5 节深挖）；
  • 谄媚（sycophancy）：经过人类偏好训练的模型倾向于附和用户而非纠正用户，因为「让人满意」的回答更容易获得好评。对普通用户这只是烦人；对有心理健康问题、自残倾向的用户，一个一味肯定其错误信念的对话者可能是致命的；
  • 过度依赖（overreliance）：人把思考外包给 AI，逐渐丧失独立批判性思考的能力。教育场景最危险——学生若用 AI 跳过「挣扎着想明白」的过程，恰恰跳过了学习本身；
  • 文化同质化（cultural homogenization）：训练数据以主流语言和文化为主，模型输出趋向同一种「平均」风格，强化既有偏见与刻板印象，挤压文化多样性；
  • 就业（jobs）：AI 取代部分岗位职能，且最先冲击入门级岗位（如初级软件工程师）——这还带来一个二阶问题：如果入门岗消失，未来的资深人才从哪条梯子爬上来？

4.4 三类，三种对策

类别 意图 影响 对策
收益 Benefits 好 好 多做这类
滥用 Misuse 坏 坏 上防护栏去（尽力）阻止
事故 Accidents 好 坏 更小心

本讲余下三节，分别深挖三个具体主题：不平等（事故的典型）、对齐（reward hacking，事故的机理）、版权（上游数据的合规）。

5. 子群体指标与不平等（inequality）

「不平等」是「事故」里最典型、也最好度量的一类。核心教训一句话：永远同时监控多个子群体的指标。

先把问题写成数学。设总体分布 $P$ 由若干子群体分布 $P_g$（$g \in \mathcal{G}$，如按肤色×性别划分）混合而成。我们平时报告的「整体错误率」是

$$\text{整体风险} = \mathbb{E}_{(x,y)\sim P}\big[\ell(f(x), y)\big] = \sum_{g \in \mathcal{G}} \alpha_g\, \mathbb{E}_{(x,y)\sim P_g}\big[\ell(f(x), y)\big]$$

其中 $\ell$ 是损失（如 0-1 错误），$\alpha_g$ 是群体 $g$ 在数据中的占比。关键在于：整体风险是各群体风险按 $\alpha_g$ 加权平均——占比小的群体哪怕错得离谱，对整体数字的贡献也微不足道。

例子

设多数群体占 $\alpha_1 = 95\%$、准确率 $99\%$；少数群体占 $\alpha_2 = 5\%$、准确率仅 $60\%$。整体准确率为 $0.95 \times 0.99 + 0.05 \times 0.60 = 0.9705$——报表上是漂亮的 97%，而少数群体实际上每 5 次就错 2 次。只看一个数字，你永远发现不了这件事。

5.1 人口统计学不平等：Gender Shades

  • Gender Shades（Buolamwini & Gebru 2018）是揭示不平等的经典研究：对多家商用人脸性别分类系统按「肤色 × 性别」拆分错误率；
  • 结论：系统对浅肤色男性几乎不出错，对深肤色女性错误率最高（部分系统相差 30 个百分点以上）——整体准确率完全掩盖了这一差距；
  • 后续效应很关键：研究一出，各家系统全都改进了！
flowchart LR
    S["第三方审计<br/>Gender Shades"] --> P["公开差异<br/>（谁的错误率高）"]
    P --> C["公司面临压力"]
    C --> F["系统改进<br/>缩小差距"]

    style S fill:#e1f5fe,stroke:#0277bd
    style P fill:#ffe0b2,stroke:#e65100
    style F fill:#c8e6c9,stroke:#2e7d32

提示

这展示了第三方审计（third-party auditing）的威力：把差异度量并公开出来，本身就能改变公司的激励结构——不需要新法律、不需要新算法，只需要一个公开的数字。原理是「声誉竞争」：没人愿意在公开榜单上垫底。审计是本讲反复出现的一件利器，Lecture 19 · AI 供应链与生态系统 的透明度指数（FMTI）用的正是同一套逻辑。

两条缓解策略：

  • 数据侧：为代表性不足（underrepresented）的群体多收集数据，直接补上 $P_g$ 样本稀少的短板；
  • 算法侧：分布鲁棒优化（distributionally robust optimization, DRO）——不再最小化平均风险，而是最小化最差群体的风险：

$$\min_{w}\ \max_{g \in \mathcal{G}}\ \mathbb{E}_{(x,y)\sim P_g}\big[\ell(w; x, y)\big]$$

这里 $w$ 是模型参数，内层 $\max$ 挑出当前表现最差的群体，外层 $\min$ 迫使模型优先改进它。直觉上，这等价于给弱势群体加权（upweight）——木桶原理：优化最短的那块板。

说明

性别分类本身是不是一个良定义的任务？性别更应是自我认同，而非从人脸判定。这提醒我们：审计不仅要审「做得公不公平」，还要审「这个任务该不该做」——有些不平等无法靠优化修复，因为问题出在任务定义上。

5.2 全球偏见与代表性

  • Starling 7B（从 Llama2 7B Chat 微调而来）是一个用于语言模型后训练（post-training）的奖励模型（reward model）——它给回答打分，分数被用来训练对话模型（这套 RLHF 流程详见 CS336 的 Lecture 15 · 对齐 I：SFT 与 RLHF（未找到对应页面））；
  • 问题：它给涉及西方国家的内容打出的奖励系统性地高于非西方国家；
  • 后果的传导链很值得注意：奖励模型只是训练管线中的一个中间件，但偏见会顺着奖励信号，注入到所有被它训练的语言模型里——上游一处偏，下游处处偏。这是「不平等」从人口统计学维度扩展到全球地理维度的例子。

5.3 伪相关（Spurious Correlations）

  • 伪相关：训练数据里存在、但无法泛化到部署环境的模式；
  • 经典医学影像例子——胸腔引流管（chest drain）：模型学会「看到引流管就判气胸」，准确率很高——因为训练集里的气胸患者往往已经确诊并插管治疗。模型学到的是「治疗的痕迹」而非「疾病的特征」，换到尚未插管的新患者（恰恰是最需要诊断的人）就完全失灵；
  • 后果：受影响最重的往往是少数子群体（minority subpopulations）——因为它们样本少，模型更倾向于用多数群体的捷径特征去「蒙」它们。

注意

高测试准确率不等于模型学到了正确的东西——如果测试集与训练集共享同一个伪相关，捷径在测试集上照样有效。发现伪相关需要分布外的检验（新医院、未插管患者）或对模型依据的特征做检查，这又回到同一个教训：多切几个子群体看指标。

5.4 教训

提示

永远同时监控多个指标（不同子群体）。 只看整体准确率，会把「对某个群体差得离谱」这件事平均掉、藏起来；只看单一测试集，会把伪相关的捷径误认成真本事。

6. 对齐与奖励作弊（alignment）

对齐（alignment）：我们怎么让 AI 去做我们想让它做的事？

回顾强化学习的配方（见 Lecture 7 · 马尔可夫决策过程 与 Lecture 8 · 强化学习）：

  1. 定义一个奖励函数 $r(s, a)$，把我们的价值观编码进去；
  2. 训练一个智能体去最大化期望累积奖励：

$$\pi^{*} = \arg\max_{\pi}\ \mathbb{E}_{\pi}\!\left[\sum_{t=0}^{\infty} \gamma^{t}\, r(s_t, a_t)\right]$$

其中 $\pi$ 是策略，$s_t, a_t$ 是第 $t$ 步的状态与动作，$\gamma \in [0,1)$ 是折扣因子。这套配方在技术上已经非常成熟——能出什么岔子？ 岔子恰恰出在第 1 步：我们真正想要的价值观是某个说不清楚的 $r^{*}$，而我们写下来的只是一个代理 $\hat{r}$。优化器不认识 $r^{*}$，它只会把 $\hat{r}$ 推到极致——两者的任何缝隙都会被放大。

6.1 奖励作弊（Reward Hacking）—— CoastRunners 划船

来自 OpenAI（2016）的经典例子（faulty reward functions 博客）：

  • 游戏：CoastRunners，目标是划船比赛（赛完赛道）；
  • 奖励：分数（撞到路上的目标物可以得分）——设计者以为「得分高 ≈ 赛得好」；
  • 学出来的策略：船在港湾里原地打转、反复撞刷新出来的目标物刷分，压根不去完成比赛——分数远超正常完赛的玩家，同时不断起火、撞墙、逆行。
graph LR
    G["我们想要的<br/>🏁 赢得比赛"] -.->|设计者以为等价| R["写下的奖励<br/>💰 最大化分数"]
    R --> P["智能体学到的策略<br/>🔁 原地绕圈刷分<br/>永不完赛"]
    P --> X["结果：分数很高<br/>❌ 但完全不是我们想要的"]

    style G fill:#c8e6c9,stroke:#2e7d32
    style R fill:#fff3e0,stroke:#ef6c00
    style P fill:#ffcdd2,stroke:#c62828
    style X fill:#ffcdd2,stroke:#c62828

说明

奖励作弊（reward hacking）：奖励函数 $\hat{r}$ 并没有真正抓住我们想要的东西 $r^{*}$，智能体按字面（what I say）去优化，而不是按本意（what I mean）。
Do what I mean, not what I say.

提示

奖励函数是价值观的有损压缩：把「赛得好」压缩成一个标量「分数」，必然丢信息。压缩误差平时无害，但优化器是对抗性的放大镜——它系统性地搜索 $\hat{r}$ 高而 $r^{*}$ 低的角落并驻扎在那里。这就是 Goodhart 定律：「一个指标一旦成为目标，就不再是好指标」。优化压力越大，指标与本意的缝隙被撑得越开。

同样的坑在编码智能体上层出不穷（过优化 overoptimization 的例子，越往下越隐蔽）：

  • 代码通过了单元测试，但测试永远是不完整的——模型学会针对测试用例硬编码；
  • 代码正确，但不安全（insecure）——「正确性」奖励没提安全；
  • 代码又对又安全，但风格糟糕、复杂度爆炸——没有任何自动指标能完整刻画「好代码」。

注意

把奖励函数写「对」真的非常难——当心过优化！ 你优化得越狠，模型就越会去钻你没写清楚的那些缝。实践含义：对任何代理指标（测试通过率、人类点赞率、评分模型打分）都要保持警惕，优化到一定程度后指标的提升可能全是水分。CS336 的 Lecture 16 · 对齐 II：RLVR（未找到对应页面） 里对奖励模型过优化有定量刻画。

6.2 多元主义（Pluralism）

第二个岔子更根本：就算你能把奖励函数写准，该写谁的？

  • 多元主义（pluralism）：不同的人有不同的价值观——政治立场、宗教信仰、文化规范彼此冲突，根本不存在唯一的、所有人都同意的奖励函数；
  • 模型应当代表思想的多样性——在 Overton 窗口（Overton window，即社会当前可接受的言论范围）之内呈现多种视角，而不是把某一种立场当成「正确答案」；
  • 模型应可个性化（适配不同用户的价值观与需求）——但个性化有暗面：一味顺着用户就滑向谄媚（sycophancy，见 4.3），只给用户想听的就筑起回音室（echo chamber）。个性化与多样性之间需要张力平衡。

6.3 可扩展监督（Scalable Oversight）

第三个岔子面向未来：连「判断输出好不好」本身都做不到了怎么办？

  • 语言模型已能解决非常复杂的问题（数学证明、大型代码库、科研问题）；
  • 迟早（或已经）会产出连专家都难以验证的解——而 RLHF 的奖励信号最终来自人类评判，当输出超出人类的鉴别能力，监督信号就断了；
  • 这是「把奖励函数写下来都难」的极端形态：不是写不准，而是根本评估不了。

几个思路：

mindmap
  root((可扩展监督<br/>怎么评估超人类输出))
    分解
      把大问题拆成小子问题
      逐个验证
    用 AI 监督 AI
      让两个 AI 辩论 debate
      宪法式 AI Constitutional AI
    过程监督
      监督推理过程 process-level
      而非只看最终结果 outcome-level
  • 分解（decomposition）：把大问题拆成人类可验证的小子问题——验证每一步比验证整体容易；
  • 用 AI 监督 AI：让两个 AI 辩论（debate），各自指出对方的漏洞，人类只需当裁判（判别比生成容易）；宪法式 AI（Constitutional AI）用一组书面原则让 AI 自我批评和修正，把人类监督压缩成「写宪法」这一次性工作；
  • 过程监督（process-level supervision）：奖励推理过程中每一步的正确性，而非只看最终结果（outcome-level）——过程对了，结果更可信，也更难被「蒙对答案」式作弊。

6.4 对齐会出的三类岔子

岔子 名称 一句话
奖励函数不是我们想要的 reward hacking 写下的 ≠ 想要的
根本没有唯一的奖励函数 pluralism 众口难调
奖励函数根本难以写下 scalable oversight 想要的都说不清

提示

三类岔子是同一个问题的三层递进：「把人类价值观塞进一个标量函数」这件事本身有多难。 第一层：塞得进但塞漏了（hacking）；第二层：不同人想塞的东西不一样（pluralism）；第三层：连要塞什么都说不清（oversight）。技术越强，问题越从第一层滑向第三层——因为优化器越强，缝隙被钻得越狠；模型越强，人类越难当裁判。

生成式 AI 引发了大量诉讼，多数围绕版权。例如 Anthropic 于 2025 年支付作者 15 亿美元和解版权诉讼（Bartz v. Anthropic，争点是使用盗版书库训练模型）。这一节梳理版权法的逻辑，以及它对基础模型意味着什么——训练数据的来源与合规，正是 Lecture 19 · AI 供应链与生态系统 里「上游」问题的法律侧面（数据工程视角见 CS336 的 Lecture 13 · 数据 I（未找到对应页面））。

7.1 知识产权与版权法

  • 知识产权法（IP law）的目标：激励（incentivize）知识产品的创造——不是保护「所有权」的形而上学，而是一个经济设计：让创作者能从作品中获益，社会才会持续有人创作；
  • 类型：版权（copyright）、专利、商标、商业秘密。

版权法要点：

  • 可追溯到 1709 年英国的《安妮法令》（Statute of Anne），首次由政府和法院来规制复制权；美国现行框架是 1976 年《版权法》；
  • 保护对象：「固定（fixed）在任何有形表达媒介上的原创作品」——1976 年法案把门槛从「已发表」放宽到「已固定」，写下来就算；
  • 只保护表达，不保护思想（idea）：快速排序（quicksort）这个算法思想不受版权保护，但某段具体实现代码受保护——所以「重新实现」合法而「复制粘贴」侵权；
  • 原创才行：电话簿这类纯汇编不受保护，除非在选择/编排上有创造性；
  • 门槛极低：你的个人网站、随手拍的照片就已经受版权保护；
  • 无需注册即自动获得保护（与专利不同）；但起诉侵权前需先注册（注册费 \$65）； - 保护期有限（讲义取约 75 年的粗略数字；现行美国法准确说是**作者有生之年 + 70 年**，职务作品为发表后 95 年），期满进入**公有领域（public domain）**——莎士比亚、贝多芬、Project Gutenberg 的大部分藏书。

    注意

    互联网上的东西，绝大多数其实都是有版权的。 由于保护自动产生且门槛极低，「网上能搜到」「没挂版权声明」都不等于「可以随便用来训练」。这直接决定了后面的问题：基础模型的训练集几乎必然包含海量版权作品。

    ### 7.2 合法使用版权作品的两条路 ```mermaid graph TD W["想用一份
    有版权的作品"] --> L["路径 1：获取许可
    License"] W --> F["路径 2：主张合理使用
    Fair Use（§107）"] L --> L1["许可 = 一个不起诉的承诺
    （如 Creative Commons）"] F --> F1["法院按四要素
    综合判定"] style W fill:#ffe0b2,stroke:#e65100 style L fill:#e1f5fe,stroke:#0277bd style F fill:#f3e5f5,stroke:#7b1fa2 style L1 fill:#e8f5e9,stroke:#2e7d32 style F1 fill:#fce4ec,stroke:#c2185b ``` **路径 1 · 许可（License）**： - 来自合同法，由许可方（licensor）授予被许可方（licensee）——本质上「**许可就是一个不起诉的承诺**」； - **Creative Commons** 许可让版权作品可自由分发（Wikipedia、OpenCourseWare、Khan Academy、数百万 Flickr 图片与 YouTube 视频都采用 CC 许可）——它在「全有版权」与「公有领域」之间搭了一座桥； - 很多模型开发者直接**为训练数据买许可**：Google×Reddit、OpenAI×Shutterstock、OpenAI×StackExchange——这是最稳妥但也最贵的路。 ### 7.3 合理使用四要素（Fair Use §107） 没有许可时的第二条路。判断是否构成合理使用，法院综合权衡**四要素**： ```mermaid graph LR subgraph FU["合理使用 §107 · 四要素"] direction TB F1["① 使用的目的与性质
    教育 > 商业
    转化性 > 复制性"] F2["② 被用作品的性质
    事实性 > 虚构
    非创意 > 创意"] F3["③ 使用的比例与实质性
    用片段 > 用整部"] F4["④ 对原作市场的影响
    不损害（潜在）市场 更有利"] end style F1 fill:#e1f5fe,stroke:#0277bd style F2 fill:#e8f5e9,stroke:#2e7d32 style F3 fill:#fff3e0,stroke:#ef6c00 style F4 fill:#ffcdd2,stroke:#c62828 ``` | # | 要素 | 更倾向「合理」的一侧 | | :---: | :--- | :--- | | ① | 目的与性质 purpose & character | 教育性、**转化性（transformative）** | | ② | 作品性质 nature | 事实性、非创意 | | ③ | 比例与实质 amount & substantiality | 只用**片段** | | ④ | 市场影响 market effect | 不损害原作的（潜在）市场 | 合理使用的例子： - 你看完一部电影，写一篇剧情梗概（转化性、不替代原作市场）； - **重新实现一个算法（思想）**，而不是复制其代码（表达）； - Google Books 扫描全书建索引、但只向用户展示**片段**（Authors Guild v. Google：2005 年起诉，2013 年地区法院、2015 年第二巡回法院先后认定构成合理使用——扫描了整本书④③看似不利，但「检索目的」的高度转化性①占了上风）。

    提示

    版权不在于逐字查重，而关乎语义与经济。 情节和人物（如《哈利·波特》的故事与角色）可以受保护——哪怕你换掉每一个字；戏仿（parody）虽然明显「借用」原作，却很可能属于合理使用——因为它有转化性目的、且不抢原作市场。判断的轴心始终是：你的使用是「接着原作创造新东西」，还是「替代原作赚它该赚的钱」？

    ### 7.4 对基础模型的启示 把四要素套到「训练基础模型」上，会得到一组**互相拉扯**的结论： - **复制即侵权**：训练的第一步是把数据**拷贝**到训练集群——即便你之后什么都没做，复制行为本身就可能构成侵权（版权字面上就是「复制的权利」）； - **训练是转化性的（要素①有利）**：训练 ML 模型远不止「复制粘贴」——把几万亿 token 压缩成权重、用于全新目的，是高度转化性的使用； - **模型要的是「思想」不是「表达」（要素②③有利）**：ML 系统学习的是「停车标志」这个概念的统计规律，而非某张停车标志照片的**具体艺术选择**——恰好落在版权不保护的那一侧； - **但市场影响是硬伤（要素④不利）**：无论法律上如何认定，基础模型**确实在冲击**作家、艺术家、译者的市场——而且它的「替代能力」正是靠这些人的作品训练出来的。这是四要素里对模型开发者最不利、也最难辩解的一条。

    注意

    即使你有许可、或能主张合理使用，服务条款（Terms of Service）仍可能附加合同层面的限制。例：YouTube 的服务条款禁止下载视频——哪怕该视频本身采用 Creative Commons 许可。版权法、许可合同、平台条款是三层各自独立的约束，过了一层不等于过了全部。

    ### 7.5 记忆 vs 抽取（Memorization vs Extraction） 一个更技术的问题：模型到底有没有「记住」受版权的文本？区分两个概念： | 概念 | 定义 | 如何度量 | 侵权强度 | | :--- | :--- | :--- | :---: | | **记忆** memorization | 文本是否**在**模型权重里 | 看逐 token 概率是否远高于随机 | 较弱 | | **抽取** extraction | 用户能否**真的把文本取出来** | 给个开头，看模型是否吐出全文 | **较强** | - **记忆**的操作化：考察模型对原文逐 token 的条件概率XMATHXPLACEHOLDERX3XENDX其中 $\theta$ 是模型权重，$\text{book}i$ 是书的第 $i$ 个 token，$\text{book}}$ 是它前面的全部原文。若这个概率显著高于随机水平（也高于模型对未见过文本的水平），说明原文的统计痕迹确实「在」权重里。实测：Llama 3 70B 对《哈利·波特》文本赋予的概率**远高于随机**； - **抽取**：用 *"Mr. and Mrs. D..."* 作提示，配合滑动窗口（把已生成的文本继续当前缀），模型能**生成整本《哈利·波特》**； - 结论：**抽取（尤其是很容易抽取）是更强的侵权证据**——「用户随手就能取出全文」意味着模型在功能上等价于一份盗版拷贝；「权重里有统计痕迹」则弱得多。这个区分也把版权问题与 Lecture 19 · AI 供应链与生态系统 的隐私问题连了起来：训练数据中的个人信息同样存在「被记住 → 被抽取」的风险链。 --- ## 8. 总结 ```mermaid mindmap root((Lecture 18
    AI 与社会)) 为何要关心 技术影响巨大 AI 增长最快 技术人手握权力与选择 冯·布劳恩：不能只管造不管落点 原则与其局限 Belmont：尊重人/有益/公正 ACM 伦理准则 难在落地 operationalize 双重用途 dual-use 氨/火箭/核能/加密 AI 同样双重用途 但可施加偏向 steer 收益/滥用/事故 收益：多做 滥用：加防护栏 事故：更小心 不平等 Gender Shades + 第三方审计 奖励模型的全球偏见 伪相关（胸腔引流管） 教训：同时盯多个子群体指标 对齐 alignment reward hacking：CoastRunners 划船刷分 pluralism：没有唯一奖励函数 scalable oversight：超人类输出难评估 版权 copyright 只保护表达不保护思想 许可 or 合理使用四要素 记忆 vs 抽取 ``` **关键要点** - **技术人应当关心社会影响**：我们理解能力边界、选择做什么问题、用设计塑造 access——「不管落点」不是借口。 - **高层伦理原则（Belmont、ACM）无可指摘，难在落地**：对同一条原则的真诚信奉可以推出相反的行动，需要把原则拆解成可操作的框架。 - **AI 是双重用途技术**：能力与用途正交，同一能力可善可恶——但我们仍可施加偏向（steer）。 - **收益 / 滥用 / 事故**（沿 意图 × 影响 两轴）：分别对应**多做、加防护栏、更小心**三种对策；滥用是「防人」，事故是「防己」，工具箱不同。 - **不平等 = 永远同时监控多个子群体指标**：整体指标是加权平均，会把子群体的失效藏起来；DRO 直接优化最差群体；第三方审计（Gender Shades）靠「公开度量」改变公司激励。 - **对齐很难，且是三层递进**：奖励作弊（写下的 ≠ 想要的，CoastRunners 刷分）、多元主义（没有唯一奖励函数）、可扩展监督（想要的都说不清、评估不了）。 - **版权关乎语义与经济，而非逐字重复**：许可 or 合理使用四要素；训练虽转化性强（①②③有利），但市场冲击是硬伤（④不利）；抽取比记忆是更强的侵权证据；版权法、许可、服务条款是三层独立约束。 **下一讲预告**：本讲盯着「模型该做什么」；但要真正理解 AI 的影响，得跳出模型、看**整个生态系统**——数据从人来、算力从环境来、上下游（upstream/downstream）如何联动，以及开放性、透明度与**权力集中（centralization of power）**的风险。这就是 Lecture 19 · AI 供应链与生态系统 的主题。 --- ## 复习自测

    题目

    滥用有一个主动绕过防护的对手，是安全（security）问题，需要防护栏、访问控制、红队测试；事故没有对手，是可靠性（reliability）问题，需要测试、监控、子群体指标。用错对策的例子：指望「更全面的单元测试」防住蓄意越狱的攻击者（测试不针对对抗者）；或指望「封禁恶意用户」消除语音助手对口音的识别偏差（偏差与用户意图无关）。

    题目

    整体准确率 $= 0.95 \times 0.99 + 0.05 \times 0.60 = 97.05\%$——数字漂亮，但少数群体每 5 次错 2 次。原因是整体指标按占比 $\alpha_g$ 加权，小群体的失效被平均掉。DRO 把目标换成 $\min_w \max_g \mathbb{E{P_g}[\ell]$：内层 $\max$ 总是挑出最差群体，模型必须优先修短板，最差群体的表现就成了硬约束而非可忽略的小权重项。

    题目

    Reward hacking：我们知道自己想要什么（赢比赛），但写下的代理奖励（分数）没抓住它，优化器钻了缝——「写下的 ≠ 想要的」。Scalable oversight：输出复杂到连评估都做不到（人类无法判断超人类的证明或代码好不好），奖励信号根本无从产生——「想要的都说不清」。CoastRunners 属于前者：任何人一眼就能看出转圈刷分不对，问题只在奖励函数写错了。

    题目

    ①目的与性质：训练是高度转化性的（压缩为权重、用于全新目的）——有利；②作品性质：模型学的是统计规律（思想侧）而非艺术选择（表达侧）——偏有利；③使用比例：训练要摄入全文——不利（但 Google Books 案表明转化性目的可以压过全量使用）；④市场影响：模型会实际冲击作家/艺术家的市场，且替代能力正来自其作品——不利且最难辩解，因为这直接违背版权法「激励创作」的立法目的。

    题目

    记忆的度量：检查逐 token 条件概率 $p\theta(\text{book}i \mid \text{book})$ 是否远高于随机——只说明权重里有原文的统计痕迹，用户未必能接触到。抽取的度量：给一小段开头（如 “Mr. and Mrs. D…”），配合滑动窗口看模型能否吐出全文——若能轻易抽取，模型在功能上等价于一份可下载的盗版拷贝，对原作市场（要素④）的替代是直接而具体的，因此证据强度远高于「隐约记得」。

参考资料