CS221 · 人工智能：原理与技术

Lecture 19 · AI 供应链与生态系统

CS221: Artificial Intelligence — Principles and Techniques · Stanford · Autumn 2025
📅 Dec 1 · 💻 society.py

一句话总览：别只盯着模型本身——要看整条 AI 供应链：数据从哪来、算力从哪来、模型被谁部署、价值与危害如何在链条上分布，以及谁掌握了造模型的权力。

承上启下：从「AI 做了什么」到「谁在造 AI」

上一讲（Lecture 18 · AI 与社会）：

技术人员为什么要关心社会影响；高层原则（Belmont 报告、ACM 伦理准则）及其「难在落地」的局限；
双重用途技术（dual-use technology）：同一项技术既能行善也能作恶；
沿「意图 × 影响」两轴把影响分为收益 / 滥用 / 事故（benefits / misuse / accidents）；
深入话题：子群体不平等（第三方审计的威力）、对齐与奖励作弊（reward hacking，CoastRunners 划船例子）、版权与合理使用。

本讲（L19 · AI 供应链与生态系统）：

L18 的分析对象始终是「某个模型的行为及其后果」；本讲把这句话反过来问——模型本身是从哪里来的？
生态系统视角：AI 模型由数据 + 算力造出；数据来自人，算力来自对环境的资源开采；模型再被人用于行善与作恶；
上游 / 下游（upstream / downstream）：一条完整的 AI 供应链，价值与危害在各环节的分布；
开放性与透明度：模型的开放程度是一条谱系；权力集中（centralization of power）的风险；用基础模型透明度指数（FMTI）「以公开报告倒逼透明」。

提示

换个视角：前几讲问「AI 应该做什么」；本讲问「AI 是怎么被造出来的、资源和权力从哪流到哪」。这个转换的价值在于干预点：模型行为出了问题，解法未必是调模型——数据合规问题要在数据采集环节解决，环境问题要在算力环节解决，权力集中问题要在发布方式上解决。干预点往往不在模型里，而在供应链上。

说明

伦理与危害的分类学（dual-use、reward hacking、版权/合理使用等）属于 Lecture 18 · AI 与社会，本讲不再展开，只在需要时一句带过。

1. AI 生态系统视角（Ecosystem View）

1.1 为什么「只看模型」不够

我们习惯把注意力放在 AI 系统本身及其行为上：模型输出对不对、有没有毒性、准不准。但讲义里一句话点破：

注意

“We often think about the AI system and its behavior, but that is insufficient.”
只盯着模型是不够的——我们需要一个生态系统视角（ecosystem view），去捕捉 AI 如何与社会交互。

要理解 AI 的影响、并且找到在哪里干预才能让影响更正面，就必须把镜头拉远：模型不是凭空出现的，它是一条链条的中间产物。评估一辆车的社会影响，不能只做碰撞测试——还要看炼钢的矿从哪来、尾气排到哪去、公路重塑了哪些城市。

1.2 一张图看懂：数据 / 算力 / 模型 / 部署

AI 模型由数据（data）和算力（compute）造出；而这两样各有其来源：

flowchart TD
    People["👥 人<br/>People"] -->|数据 data| Model
    Env["🌍 环境<br/>Environment"] -->|算力 compute<br/>能源 · 材料| Model
    Model["🤖 AI 模型<br/>data + compute"] --> Deploy["🚀 部署 / 使用<br/>Deployment"]
    Deploy -->|行善| Good["✅ 收益 benefit"]
    Deploy -->|作恶| Bad["❌ 危害 harm"]
    Good -.影响.-> People
    Bad -.影响.-> People

    style People fill:#e8f5e9,stroke:#2e7d32
    style Env fill:#c8e6c9,stroke:#2e7d32
    style Model fill:#ffe0b2,stroke:#e65100
    style Deploy fill:#e1f5fe,stroke:#0277bd
    style Good fill:#c8e6c9,stroke:#2e7d32
    style Bad fill:#ffcdd2,stroke:#c62828

三条关键论断（忠于讲义）：

数据来自人（Data comes from people）：训练语料是人写的文字、拍的照片、录的音——没有一个 token 是凭空产生的；
算力来自对环境的资源开采（Compute comes from resource extraction from the environment）：芯片需要开采稀有材料，数据中心需要电力与冷却用水——能源与材料最终都取自环境；
模型被人用于行善与作恶：同一个模型，下游既能造福也能伤害（这正是 dual-use 在生态系统层面的体现）。

提示

关键洞见：AI 的社会影响不在模型内部，而在它与人和环境的两个接口上——上游（人 + 环境 → 模型）和下游（模型 → 人）。权重文件本身不侵犯隐私、不排放二氧化碳、不取代任何人的工作；这些事都发生在接口处。所以要减小危害，往往要在接口处干预（数据治理、能源政策、部署规范），而不是只调模型的权重。

2. 上游与下游：AI 供应链（Upstream / Downstream）

生态系统可以拆成两段：上游是「造模型要消耗什么」，下游是「模型被拿去做什么」。

flowchart LR
    subgraph UP["⬆️ 上游 Upstream（造模型的投入）"]
        direction TB
        D1["📊 数据 data<br/>（来自人）"]
        D2["⚡ 算力 compute<br/>（来自环境资源）"]
    end
    M["🤖 基础模型<br/>Foundation Model"]
    subgraph DOWN["⬇️ 下游 Downstream（模型的用途）"]
        direction TB
        U1["✅ 收益：辅助工作、科研、教育"]
        U2["❌ 危害：毒性内容、有害行为"]
    end

    UP --> M --> DOWN

    style UP fill:#e8f5e9,stroke:#2e7d32
    style DOWN fill:#e1f5fe,stroke:#0277bd
    style M fill:#ffe0b2,stroke:#e65100
    style D1 fill:#c8e6c9,stroke:#2e7d32
    style D2 fill:#c8e6c9,stroke:#2e7d32
    style U1 fill:#c8e6c9,stroke:#2e7d32
    style U2 fill:#ffcdd2,stroke:#c62828

2.1 上游（Upstream）：模型由数据 + 算力造出

上游关注投入的来源以及由此产生的危害：

环节	来源	潜在危害
数据 data	来自人	隐私（privacy）：关于人的信息可能被无意泄露
数据 data	来自人	版权（copyright）：创作者可能未获得应有补偿
数据标注 labor	标注/审核工作者	劳工待遇（labor practices）：工作者可能被苛待
算力 compute	环境资源开采	环境影响（environmental impact）：碳排放、耗水、材料开采

注意

讲义原话：“Data comes from people. Compute comes from resource extraction from the environment (energy, materials).” 隐私与版权对应「数据来自人」，环境影响对应「算力来自环境」——每一类上游危害，都精确对应着某一类被消耗的投入。记住这个对应关系，上游危害清单就不用死记。

逐条展开：

隐私：网络爬取的语料中混着个人住址、病历、私人邮件；Lecture 18 · AI 与社会 §7.5 讲的「记忆 → 抽取」链条意味着这些信息可能被模型记住、再被用户抽取出来——训练数据的隐私风险会一直传导到部署阶段；
版权：创作者的作品被用于训练却未获补偿（L18 §7 的合理使用之争就是这一行的法律战场；数据集的工程构建见 CS336 的 Lecture 13 · 数据 I（未找到对应页面））；
劳工待遇：数据标注与内容审核是劳动密集型工作，且常外包到低收入国家。

例子

2023 年 TIME 调查报道：OpenAI 通过外包公司 Sama 雇佣肯尼亚工人为训练数据做毒性标注，时薪不足 2 美元；工人需要长时间阅读描述暴力、虐待的文本，多人报告出现心理创伤。「让模型变得无毒」的能力，是由供应链上游最没有议价权的一群人，以最低的报酬换来的——这是「价值与危害分布不均」最具体的注脚。

例子

研究者估算：GPT-3（175B）单次训练耗电约 1300 MWh，折合数百吨二氧化碳当量；数据中心的冷却每消耗 1 kWh 电力还伴随可观的取水。单次对话的成本微不足道，但乘以亿级用户与持续的重训练，总量就成了不可忽略的环境足迹（训练所需算力的量级推演见 CS336 的 Lecture 9 · 缩放定律 I：基础（未找到对应页面））。

2.2 下游（Downstream）：模型被人使用

下游关注部署与使用产生的危害——多数属于 L18 说的「事故（accidents）」，即开发者和用户都不想发生：

危害类型	含义
不平等 inequality	AI 对某些人帮助更多，对另一些人更少
危害 harm	生成毒性内容，或采取有害行动
过度依赖 overreliance	人变得依赖 AI，无法独立思考
工作 jobs	AI 取代部分工作职能

这四类在 L18 §4.3 已逐一展开，此处不重复；本讲的增量在于指出它们的位置：都发生在「模型 → 人」的下游接口上，因此干预手段（部署规范、使用政策、监测审计）也应部署在这个接口上。

2.3 一条完整的供应链：价值与危害如何分布

把上下游串起来，就是一条 AI 供应链（AI supply chain）。每个环节都有不同的参与者，价值与危害在链条上分布不均：

flowchart LR
    A["🌍 资源 / 能源<br/>材料 · 硬件"] --> B["📊 数据标注工作者<br/>data workers"]
    B --> C["🏭 算力 / 硬件<br/>芯片 · 数据中心"]
    C --> D["🧠 基础模型开发者<br/>foundation model<br/>developers"]
    D --> E["🛠️ 下游部署者<br/>deployers / apps"]
    E --> F["👤 终端用户<br/>end users"]

    style A fill:#c8e6c9,stroke:#2e7d32
    style B fill:#e8f5e9,stroke:#2e7d32
    style C fill:#f3e5f5,stroke:#7b1fa2
    style D fill:#ffe0b2,stroke:#e65100
    style E fill:#e1f5fe,stroke:#0277bd
    style F fill:#e3f2fd,stroke:#1976d2

提示

供应链视角的用处：问「谁承担了危害、谁获得了价值」。

上游的数据标注工作者、被开采资源的环境、被爬取作品的创作者，常常是承担成本却分不到价值的一端；
中游的基础模型开发者（往往是极少数大公司）掌握最多权力与价值；
下游的部署者和终端用户，则同时体验收益与危害。
经济学里这叫外部性（externality）：交易双方（开发者与用户）之外的第三方承担了成本，却不出现在任何账本上。这条不均衡的链条，正是下一节「权力集中」的现实基础。

3. 开放性与透明度（Openness & Transparency）

从「模型应该做什么」再往上追一层，讲义抛出两个更根本的问题：

Who can make decisions about a model’s behavior?（谁能决定模型的行为？）

Who can build a model?（谁能造一个模型？）

3.1 风险：权力集中（Centralization of Power）

注意

“Very few big tech companies can build frontier models… and very little is revealed about how they work.”
只有极少数大科技公司能造出前沿模型（frontier models），而外界对它们如何运作知之甚少。

这是一个「双重集中」：能力集中（只有少数玩家造得出）+ 信息不透明（造出来了也不告诉你怎么造的）。门槛为什么这么高？因为前沿模型 = 海量数据 + 数万块 GPU 的算力（硬件与并行工程见 CS336 的 Lecture 5 · GPU（未找到对应页面））+ 顶尖人才，三样都以亿美元计价，且随规模持续上涨。

flowchart TD
    Cost["💰 前沿模型的门槛<br/>海量数据 + 巨额算力 + 顶尖人才"] --> Few["🏢 只有极少数大公司<br/>能造前沿模型"]
    Few --> P1["⚠️ 能力集中<br/>谁能造？"]
    Few --> P2["⚠️ 信息不透明<br/>怎么造的？外界不知道"]
    P1 --> Risk["🔴 权力集中<br/>Centralization of Power"]
    P2 --> Risk

    style Cost fill:#fff3e0,stroke:#e65100
    style Few fill:#ffe0b2,stroke:#e65100
    style P1 fill:#ffcdd2,stroke:#c62828
    style P2 fill:#ffcdd2,stroke:#c62828
    style Risk fill:#ffcdd2,stroke:#c62828

提示

为什么权力集中本身是风险，而不只是「市场格局」？因为 L18 §1.2 说过：模型的设计选择（支持哪些语言、拒绝哪些请求、代表谁的价值观）就是替社会做的价值判断。当这些判断集中在几家公司手里、且外界无法审视时，就相当于一小群未经选举的人在为几十亿用户立法，而立法过程保密。对策也有两个方向，分别对准两个「集中」：透明度（对付信息不透明，§3.2）与开放性（对付能力集中，§3.3）。

3.2 透明度（Transparency）：先能测量，才能改进

对抗「信息不透明」的第一步是透明度：

说明

“Transparency is a prerequisite (if you can’t measure it, you can’t improve it).”
透明度是前提——测不了，就改不了。（回想 Lecture 18 · AI 与社会的 Gender Shades：第三方审计一公开，各家系统就都改进了。）

基础模型透明度指数（Foundation Model Transparency Index, FMTI）就是把这句话做成一个可打分的工具——由 Stanford CRFM 等机构提出（arXiv 2407.12929）：

100 个指标（indicators），覆盖三大块：上游（upstream）· 模型（model）· 下游（downstream）——恰好对应第 1–2 节的供应链结构；
指标涉及：造模型用的数据、劳工、算力；模型的能力、局限、风险；模型的分发与使用影响；
打分方式本质上是计数：每满足一个指标记 1 分，$\text{score} = \sum_{i=1}^{100} \mathbb{1}[\text{指标 } i \text{ 被公开披露}]$，其中 $\mathbb{1}[\cdot]$ 是指示函数（满足为 1，否则为 0）。满分 100，得分即「披露了多少该披露的信息」。

变化理论（theory of change）——这是 FMTI 的方法论精髓：

提示

“Public reporting incentivizes companies to be more transparent.”
把各家的透明度打分公开排名，就制造了声誉竞争压力，逼公司主动披露更多信息——这与 L18 里 Gender Shades 式「第三方审计（auditing）」是同一套逻辑：不改变任何法律与技术，只改变激励。测量本身就是干预。

flowchart LR
    Idea["📏 定义 100 个透明度指标<br/>上游 / 模型 / 下游"] --> Score["🏆 给各开发者打分并公开排名"]
    Score --> Pressure["🔥 公开压力 / 声誉竞争"]
    Pressure --> Disclose["📖 公司主动披露更多信息"]
    Disclose -.下一年再测.-> Idea

    style Idea fill:#e1f5fe,stroke:#0277bd
    style Score fill:#ffe0b2,stroke:#e65100
    style Pressure fill:#fce4ec,stroke:#c2185b
    style Disclose fill:#c8e6c9,stroke:#2e7d32

这套方法确实见效（FMTI 2024 结果）：改用「开发者提交报告」后，平均分从 2023 年的 37/100 升到 58/100（+21 分），最高分从 54 升到 85；而且最不透明的正是上游资源（46%，低于下游 65%、模型 61%）——与「上游最容易被隐藏」的直觉吻合：数据从哪爬的、标注工人待遇如何、耗了多少电，恰恰是公司最不愿披露的部分。

3.3 开放性谱系（The Openness Spectrum）

透明度是「告不告诉你」，开放性（openness）是「给不给你」。模型的开放程度不是二选一，而是一条谱系（spectrum）：

flowchart LR
    A["🔒 封闭<br/>Closed API<br/>只给接口调用"] --> B["🔓 开放权重<br/>Open weights<br/>放出模型参数"]
    B --> C["🟢 完全开源<br/>Open weights + data<br/>权重 + 训练数据"]

    style A fill:#ffcdd2,stroke:#c62828
    style B fill:#ffe0b2,stroke:#e65100
    style C fill:#c8e6c9,stroke:#2e7d32

开放程度	你能拿到什么	代表形态
封闭（closed）	只有 API 接口	通过网络调用，看不到内部
开放权重（open weights）	模型参数文件	可下载、本地跑、微调
完全开源（open weights + data）	权重 + 训练数据（及训练代码）	可完整复现与审查

注意

「开源模型」这个流行说法通常只是开放权重：拿到参数文件不等于拿到配方——不知道训练数据与训练过程，你既无法复现它，也无法审查它学了什么。软件开源给的是源代码（可完整重建），开放权重给的更像编译后的二进制。谱系上的位置要看清楚再下判断。

为什么开放很重要？（arXiv 2403.07918）三大收益：

创新与可定制性：研究者和开发者能自由微调、蒸馏、改造，在其上构建本地化应用——封闭 API 做不到这些；
提升透明度：能看到权重、能做可解释性研究（虽然没有数据仍不充分）；
削弱权力集中（reducing centralization of power）——把「能造/能改模型」的能力从少数公司扩散出去，直接对冲 3.1 的风险。

但开放也带来滥用风险——权重一旦放出就无法收回，防护栏可被微调移除。如何评估？讲义给了两条冷静的原则：

说明

看边际风险（marginal risk）：相比已有替代品（闭源模型、整个互联网），开放额外增加了多少风险？形式化地写：$$\Delta_{\text{risk}} = \underbrace{\text{Risk}(\text{世界} + \text{开放模型})}_{\text{新增后}} - \underbrace{\text{Risk}(\text{世界仅有现有替代品})}_{\text{基线}}$$该被追问的是差值 $\Delta_{\text{risk}}$，而不是绝对风险——若某危险信息在搜索引擎里同样唾手可得，把账全算在开放模型头上就是高估。
看整个生态系统：造一件生物武器要「设计 + 制造 + 部署」一整条链，模型至多影响其中一环（获取知识），materials 与设备才是真正的瓶颈——不能把全链条的风险都算在开放模型头上。

提示

开放性把 3.1 的风险和 3.2 的透明度串了起来：开放 ↑ → 透明 ↑、权力集中 ↓，但滥用的边际风险也随之上升——这是一个真实的权衡，不是单向的好事。讲义的总体结论刻意克制（“need more clarity and measurement”）：这场辩论仍需更多清晰界定与实证测量，而非站队。这与本讲一以贯之的方法论相同：先测量，再争论。

4. 总结

mindmap
  root((AI 供应链<br/>与生态系统))
    生态系统视角
      只看模型不够
      数据 ← 人
      算力 ← 环境资源开采
      模型被人用于行善/作恶
    上游 Upstream
      数据来自人：隐私·版权
      标注工作者：劳工待遇
      算力来自环境：碳排放·耗水
    下游 Downstream
      不平等 / 危害
      过度依赖 / 工作替代
    供应链
      资源→标注→算力→开发者→部署者→用户
      价值与危害分布不均
    开放性与透明度
      权力集中：少数公司造前沿模型
      透明度：测不了就改不了
      FMTI：100 指标·公开报告倒逼透明
      开放谱系：封闭API→开放权重→权重+数据
      边际风险 · 整个生态系统

关键要点：

生态系统视角：只看模型本身不够——要看它如何与社会交互。模型 = 数据 + 算力，其中数据来自人、算力来自对环境的资源开采，模型再被人用于行善与作恶；干预点在两个接口上，不在权重里。
上游（upstream）的危害与投入来源一一对应：隐私/版权（数据来自人）、劳工待遇（标注工作者）、环境影响（算力来自环境）。
下游（downstream）的危害对应使用：不平等、有害内容/行为、过度依赖、工作替代（详见 L18 的「事故」分类）。
AI 供应链：资源 → 数据标注 → 算力/硬件 → 基础模型开发者 → 下游部署者 → 终端用户；价值与危害在链条上分布不均——承担成本的常在上游（标注工人、环境、创作者），掌握权力与价值的常是中游大公司；这是典型的外部性结构。
权力集中（centralization of power）：只有极少数大公司能造前沿模型，且外界对其运作知之甚少（能力集中 + 信息不透明）——相当于少数人在为几十亿用户做价值判断且过程保密。
透明度是前提（测不了就改不了）；FMTI 用 100 个上/中/下游指标打分，靠公开报告倒逼透明——2024 年平均分从 37 升到 58，证明「测量即干预」这套变化理论有效；最不透明的恰是上游。
开放性是一条谱系（封闭 API → 开放权重 → 权重+数据）；开放能促创新、增透明、削弱权力集中，但评估其滥用风险要用边际风险 $\Delta_{\text{risk}}$（相对已有替代品的增量）并放到整个生态系统里看，不夸大也不轻忽。

下一讲预告：把镜头再拉远到时间轴——回顾 AI 的三大思想传统（符号主义 / 连接主义 / 统计）与历史（图灵测试、达特茅斯会议、专家系统、AI 寒冬、深度学习崛起），并用这条主线收束整门课程。→ Lecture 20 · AI 的历史与课程总结

复习自测

题目

可以。数据来自人，所以数据侧的危害就是「对人的危害」：人的信息被泄露（隐私）、人的作品未获补偿（版权）、处理数据的人被苛待（劳工）。算力来自环境的资源开采，所以算力侧的危害就是「对环境的危害」：碳排放、耗水、材料开采。危害清单不用背——它是投入来源清单的镜像。

题目

不是一回事。透明度是披露信息（告诉你数据怎么来的、评估结果如何），开放性是给予制品（把权重/数据交到你手里）。「透明但封闭」完全可能：一个只提供 API 的公司可以发布详尽的数据、劳工、评估报告（FMTI 高分不要求开放权重）。「开放但不透明」也常见：只丢出权重文件、不说训练数据与过程——你拿到了「二进制」却没有「源代码」。两者是独立的两根杠杆，分别对付「信息不透明」与「能力集中」。

题目

第一，看边际风险：$\Delta_{\text{risk}} = \text{Risk}(\text{有开放模型}) - \text{Risk}(\text{只有现有替代品})$。若同样的信息通过搜索引擎、教科书或闭源模型的越狱同样可得，则开放模型带来的增量风险很小——论证错在用绝对风险冒充边际风险。第二，看整个生态系统：从「知道怎么做」到「真的造出来并部署」还隔着材料、设备、专业技能等瓶颈环节，模型只影响链条中的一环。正确结论不是「开放无风险」，而是「风险要按增量、按全链条评估」。

题目

变化理论：公开测量并排名各开发者的透明度 → 制造声誉竞争 → 公司为了不垫底而主动披露更多（2023→2024 平均分 37→58 是其实证支持）。与 Gender Shades 共享的机制是第三方审计 + 公开度量改变激励：不立新法、不改技术，只让「差」变得可见且可比。前提是公司在乎声誉（面向公众、面临竞争）——若行为者不受声誉约束（如匿名或垄断），这个机制就会失效。

题目

外部性指交易之外的第三方承担成本却不被计价。例一：标注工人以低薪承受心理创伤，换来模型「无毒」的能力，但模型增值几乎不回流给他们——成本在上游，价值在中游。例二：数据中心的碳排放与取水由周边环境和社区承担，而算力的收益归模型开发者与用户——同样是成本外部化。识别外部性的意义在于指出干预方向：让链条上的价格「说真话」（补偿、披露、监管），而不是指望模型自己变好。

参考资料

💻 society.py — 本讲源码（ecosystem_view / openness_and_transparency，与 L18 共用此文件）
📄 The 2024 Foundation Model Transparency Index (FMTI) — Bommasani 等，100 个透明度指标 · Stanford CRFM 官方页面（May 2024）
🌐 FMTI 六个月回顾：平均分 37 → 58 · 数据与评分（GitHub: stanford-crfm/fmti）
📄 On the Societal Impact of Open Foundation Models — Kapoor 等，开放的收益与「边际风险」框架
📄 Ecosystem Graphs: The Social Footprint of Foundation Models — 追踪上游/下游资产与依赖关系
🌐 课程主页 Autumn 2025