# Lecture 20 · AI 的历史与课程总结 > **CS221: Artificial Intelligence — Principles and Techniques** · Stanford · Autumn 2025 > 📅 Dec 3 · 💻 [`history.py`](https://github.com/stanford-cs221/autumn2025-lectures/blob/main/history.py) > > **一句话总览**：AI 的历史是**三大思想传统**——符号主义、连接主义（神经网络）、统计——反复碰撞又彼此融合的故事；这门课的每一个模块，都是这三条脉络中的一支。 --- ## 从社会话题到全局回望 **前两讲（[[Lecture 18 · AI 与社会]] 与 [[Lecture 19 · AI 供应链与生态系统]]）**： - 我们从技术内部走到技术外部：双重用途、偏见与不平等、对齐与奖励作弊、版权； - 生态系统视角：数据 ← 人、算力 ← 环境资源、模型、部署，以及权力集中与透明度； - 这两讲关注的是「AI 正在如何塑造社会」这个**当下与未来**的问题。 **本讲（历史与总结）**： - 把镜头拉到最远：回看 AI 走过的 70 多年——**它从哪来？** - 用**三大传统**这一条主线，串起从图灵测试到基础模型的关键节点； - 再用同一条主线，把**整门课**（学习 / 搜索 / MDP 与强化学习 / 博弈 / 贝叶斯网络 / 逻辑 / 语言模型）逐一归位； - 这是最后一讲，我们以一段温和的结语收束。 > [!tip] 直觉 > 学完了「怎么做」，最后一课来看「为什么会是这样」。历史不是花絮，而是理解这门学科气质的钥匙：知道符号主义为何两度入冬，你才明白今天的人为什么如此看重「从数据学习」；知道神经网络曾被宣判死刑三十年，你才不会把当下任何一种范式当成终点。历史还提供了一个反复应验的判词：**很多「AI 做不到」，只是「当时的算力和数据还不够」。** --- ## 1. 三大思想传统 整部 AI 史，可以浓缩成三种回答「如何造出智能」的思路。它们各自起源不同、几度此消彼长，最终在今天融为一炉。 ```mermaid graph TD Q["如何造出智能？"] --> S["🔤 符号主义
symbolic AI"] Q --> N["🧠 连接主义 / 神经
neural AI"] Q --> T["📊 统计
statistical AI"] S --> S1["用符号 + 规则
表示知识与推理"] N --> N1["用类脑的网络
从数据中学习"] T --> T1["用概率与优化
在不确定性下建模"] style Q fill:#ffe0b2,stroke:#e65100 style S fill:#e1f5fe,stroke:#0277bd style N fill:#f3e5f5,stroke:#7b1fa2 style T fill:#c8e6c9,stroke:#2e7d32 ``` | 传统 | 核心信念 | 表示形式 | 代表工作 | 贡献了什么 | | :--- | :--- | :--- | :--- | :--- | | **符号主义** symbolic | 智能 = 对符号做逻辑推理 | 规则、逻辑、搜索树 | Logic Theorist、专家系统 | **愿景与雄心**（vision & ambition） | | **连接主义** neural | 智能 = 类脑网络从经验中涌现 | 权重、激活、网络层 | 感知机、反向传播、深度学习 | **模型架构**（model architectures） | | **统计** statistical | 智能 = 在不确定性下做最优推断 | 概率分布、损失函数 | 贝叶斯网络、SVM、SGD | **严谨性**（rigor：优化 / 泛化） | > [!tip] 直觉 > 三大传统并非「谁对谁错」，而是从三个不同的**隐喻**出发逼近同一个目标：符号主义模仿**逻辑学家**（智能是推理），连接主义模仿**大脑**（智能是神经元间的连接强度），统计传统模仿**数学家/赌徒**（智能是不确定性下的最优决策）。隐喻决定了各自的强项与盲区——逻辑不会处理噪声，大脑说不清为什么，概率写不出雄心——也就注定了它们最终**必须**互补。本讲的叙事沿这三条线各走一遍，再看它们如何汇流。 --- ## 2. AI 前史：图灵测试（1950） 在 AI 这个词诞生之前，一个更根本的问题已经被提出。 1950 年，**艾伦·图灵（Alan Turing）**发表论文《计算机器与智能》（*Computing Machinery and Intelligence*），劈头就问： > **「机器能思考吗？」**（Can machines think?） 图灵敏锐地意识到：这个问题太哲学、太模糊——「思考」根本没有公认定义，正面回答只会陷入语词之争。于是他把问题**替换**成一个可操作的判据：「模仿游戏」（Imitation Game），后世称为**图灵测试（Turing Test）**： ```mermaid sequenceDiagram participant J as 审问者 (人) participant A as 参与者 A (人) participant B as 参与者 B (机器) J->>A: 提问（通过文字） A->>J: 回答 J->>B: 同样的问题 B->>J: 回答 Note over J: 若审问者分不清
谁是机器 → 机器「通过」 ``` - **审问者**只通过文字与两个看不见的对象对话，一个是人、一个是机器； - 若审问者**无法可靠地区分**哪个是机器，则认为机器展现了智能。 > [!tip] 直觉 > 图灵测试的**意义**：把「机器能否思考」这个抽象的哲学问题，**锚定成一个可以客观测量的操作性问题**（ground a philosophical question in objective measurement）——不问内在（它是否真的「在想」），只问外显（行为上能否与人区分）。这一步「哲学问题 → 可测基准」的转换，正是后来整个 AI 领域「用 benchmark 驱动进展」方法论的源头。 > > 同样重要的是它**没有**做的事：图灵**没有规定**该如何造出这样的机器。靠逻辑推理？靠学习？靠概率？这道门被有意留空——而后来的三大传统，正是对这道门的三种作答。 --- ## 3. 符号主义：黄金时代、寒冬与专家系统 ### 3.1 达特茅斯会议（1956）：AI 的命名 1956 年，**约翰·麦卡锡（John McCarthy）**在**达特茅斯学院（Dartmouth College）**组织了一场夏季研讨会——这被公认为 AI 作为一门学科的起点。 - 召集了当时最顶尖的思想者（香农 Shannon、明斯基 Minsky 等）； - 目标堪称狂妄：用**两个月**在「让机器使用语言、形成抽象与概念、解决人类才能解决的问题」上取得「实质性进展」（significant advance）； - **麦卡锡在此造出了「人工智能」（artificial intelligence）这个词**。 在此前后，几项标志性成果点燃了乐观情绪： | 年份 | 工作 | 谁 | 意义 | | :---: | :--- | :--- | :--- | | **1952** | 跳棋自学习程序 | Arthur Samuel | **权重是学出来的**，达到强业余水平——机器学习的早期雏形 | | **1955** | Logic Theorist | Newell & Simon | 用**搜索 + 启发式**，为《数学原理》中的定理找到了**新证明** | > [!note] 伏笔 > 注意 Samuel 的跳棋程序：早在 1952 年，就已经出现了「参数由数据/对弈经验学习」的思想——这与本课 [[Lecture 11 · 博弈 II：TD 学习与同时博弈]] 用 TD 学习训练博弈评估函数几乎是同一条路（Samuel 也因此被视为 TD 思想的先驱）。符号主义的黄金年代里，学习的种子已经埋下。 ### 3.2 压倒性的乐观 早期成果让先驱们对未来做出了今天看来惊人的预言： > 🗣️ **Herbert Simon**：*机器将在二十年内，有能力做任何人能做的工作。* > > 🗣️ **Marvin Minsky**：*十年之内，人工智能的问题将被实质性地解决。* > > 🗣️ **Claude Shannon**：*我能想象有一天，我们之于机器人，就像狗之于人类——而我，站在机器这一边。* 这种乐观并非愚蠢：在「定理证明、跳棋、代数题」这些当年的「智能巅峰任务」上，程序确实进展神速。错误在于**外推**——以为难题（下棋）会难、简单题（看图说话、日常对话）会简单，而事实恰恰相反（后来被称为 Moravec 悖论：对人最容易的感知与常识，对机器最难）。 ### 3.3 令人失望的结果 → 第一次 AI 寒冬（1966） 现实远比预言残酷。一个在机器翻译圈广为流传的段子，生动地说明了问题： ``` 英文原句: The spirit is willing but the flesh is weak. (心有余而力不足) ↓ 翻成俄文再翻回英文 ↓ 回译结果: The vodka is good but the meat is rotten. (伏特加不错，但肉烂了) ``` > [!warning] 症结 > 系统缺乏对语言与世界的**常识理解**，只是在做符号替换——「spirit」既是「精神」也是「烈酒」，「flesh」既是「肉体」也是「肉」。歧义的消解需要语境与世界知识，而这恰恰无法写成简单的替换规则。歧义面前，纯符号方法束手无策。 **1966 年，ALPAC 报告**建议切断对机器翻译的政府资助 → **第一次 AI 寒冬 ❄️** 降临（1973 年英国的 Lighthill 报告进一步在大西洋另一侧重创了 AI 经费）。 **到底错在哪里？** history.py 给出两个根本瓶颈——这也是贯穿全史的两条暗线： ```mermaid graph LR P1["❄️ 早期 AI 的两大瓶颈"] --> C["算力受限
limited computation"] P1 --> I["信息受限
limited information"] C --> C1["搜索空间指数爆炸
远远超出硬件能力"] I --> I1["现实世界的复杂度
(词、物体、概念的数量)"] style P1 fill:#ffcdd2,stroke:#c62828 style C fill:#fff3e0,stroke:#ef6c00 style I fill:#fff3e0,stroke:#ef6c00 ``` - **算力受限（limited computation）**：符号方法的核心是搜索，而搜索空间随问题规模**指数增长**——分支因子为 $b$、深度为 $d$ 的搜索树有 $O(b^d)$ 个节点，把当时的硬件远远甩在后面； - **信息受限（limited information）**：现实世界的复杂度——世界上有太多的词、物体、概念及其组合要处理，这些知识既没有人能写全，当时也没有渠道让机器自己获取。 > [!note] 一线光明（silver lining） > 即便寒冬来临，符号主义时代也留下了极有价值的工程遗产。麦卡锡本人就贡献了 **Lisp**（一门至今仍有生命力的编程语言）、**垃圾回收**（不必手动分配/释放内存）、以及**分时系统**（让多人同时使用一台计算机）——这些至今仍是计算机科学的基石。追求智能的副产品，往往先变成了整个行业的基础设施。 ### 3.4 知识 / 专家系统（70–80 年代） 寒冬之后，符号主义换了个思路复兴：既然通用智能太难，那就**注入领域知识**——用人类专家的知识直接填补「信息受限」的缺口，同时用规则裁剪搜索空间来绕开「算力受限」。 **专家系统（expert systems）**的核心：从领域专家那里**萃取**具体知识，编码成一条条**规则**（如 `IF 症状X AND 化验Y THEN 诊断Z`），再由推理引擎串联规则得出结论。 ```mermaid graph LR E["🧑‍⚕️ 领域专家"] -->|萃取知识| R["规则库
IF-THEN"] R --> INF["推理引擎"] Q["用户提问"] --> INF INF --> A["结论 / 建议"] style E fill:#c8e6c9,stroke:#2e7d32 style R fill:#e1f5fe,stroke:#0277bd style INF fill:#ffe0b2,stroke:#e65100 ``` 三个标志性系统： | 系统 | 领域 | 做什么 | | :--- | :--- | :--- | | **DENDRAL** | 化学 | 从**质谱数据**推断分子结构 | | **MYCIN** | 医学 | 诊断血液感染，推荐抗生素 | | **XCON** | 工业 | 把客户订单转换成零件规格 | > [!example] MYCIN 的成与败 > MYCIN 用约 600 条规则做血液感染诊断，在评测中的处方质量不逊于（甚至优于）初级医生——但它从未真正进入临床：责任归属不清、集成进医院工作流困难、维护规则库的成本高昂。这预演了 AI 落地至今的规律：**技术指标达标只是开始，部署的瓶颈在系统与制度。** **成功之处（Wins）**： - ✅ 知识**同时**缓解了信息缺口和算力缺口（把复杂度前置到人写好的规则里，推理时只需走一小片搜索空间）； - ✅ **第一批真正影响工业界的 AI 应用**（XCON 曾为 DEC 每年节省数千万美元）。 **局限（Shortcomings）**： - ❌ **确定性规则无法应对现实世界的不确定性**——症状与疾病之间是概率关系，世界不是非黑即白的 IF-THEN； - ❌ 规则很快变得过于复杂，难以创建和维护——规则越加越多、彼此打架，专家的知识也未必能被完整口述出来（知识获取瓶颈）。 > [!warning] 第二次寒冬与它的遗言 > **1987 年，Lisp 机器市场崩溃 → 第二次 AI 寒冬 ❄️**，符号主义再度退潮。但注意它的两大死穴——「无法处理不确定性」和「手写规则不可扩展」——恰恰预示了另外两大传统的登场：**统计**用概率正面回答了不确定性（贝叶斯网络，1985），**神经**用「从数据自动学特征」取代了手写规则。历史的接力棒就是这样交出去的。 --- ## 4. 连接主义：神经网络的两起两落 如果说符号主义模仿的是**逻辑**，连接主义模仿的就是**大脑**。它的历史是一条起伏剧烈的曲线。 ```mermaid timeline title 连接主义 / 神经网络编年史 section 起源 (1943-1958) 1943 : McCulloch/Pitts 人工神经元
(把神经回路与数理逻辑相联) 1949 : Hebb 学习律
"一起放电的细胞连在一起" 1958 : Rosenblatt 感知机
(线性分类器) 1959 : Widrow/Hoff ADALINE
(线性回归) section 第一次寒冬 (1969) 1969 : Minsky/Papert《感知机》
证明线性模型解不了 XOR
→ 几乎扼杀神经网络研究 ❄️ section 联结主义复兴 (1980-1989) 1980 : Fukushima 新认知机
(即卷积神经网络 CNN) 1986 : 反向传播被推广
(Rumelhart/Hinton/Williams) 1989 : LeCun 用 CNN 识别手写数字
(为美国邮政 USPS) section 深度学习崛起 (2006-2017) 2006 : Hinton 无监督逐层预训练 2009 : 神经网络在语音识别上超越 HMM 2012 : AlexNet 在物体识别上大幅领先
→ 改变计算机视觉 2016 : AlphaGo 击败李世石 2017 : Transformer 架构问世 ``` ### 4.1 起源与第一次寒冬（1943–1969） - **1943**：McCulloch / Pitts 提出人工神经元模型，把**神经回路**与**数理逻辑**联系起来（有趣的是，这篇奠基之作其实是在讲「如何用神经元实现逻辑运算」——符号与神经，从一开始就纠缠在一起）； - **1949**：Hebb 提出学习律——「一起放电的细胞会连在一起」（cells that fire together wire together）：若神经元 $i$ 与 $j$ 频繁同时激活，其连接权重应增强，$\Delta w_{ij} \propto a_i\, a_j$（$a_i, a_j$ 为两个神经元的激活值）。这是「权重可以由经验塑造」的最早表述； - **1958**：Rosenblatt 的**感知机（Perceptron）**算法，用于线性分类：$\hat{y} = \operatorname{sign}(w \cdot x + b)$——正是本课 [[Lecture 3 · 线性分类]] 的模型； - **1959**：Widrow / Hoff 的 **ADALINE** 装置，用于线性回归； - **1969**：Minsky / Papert 的《感知机》一书证明**线性模型连 XOR 都解不了** → 几乎**扼杀了神经网络研究 ❄️**。 > [!example] 算一算：为什么线性模型解不了 XOR > XOR 要求：$(0,0)\mapsto{-}$、$(1,1)\mapsto{-}$、$(1,0)\mapsto{+}$、$(0,1)\mapsto{+}$。假设存在 $w_1, w_2, b$ 使 $\operatorname{sign}(w_1x_1 + w_2x_2 + b)$ 实现它，则需同时满足： > $$b < 0,\qquad w_1 + w_2 + b < 0,\qquad w_1 + b > 0,\qquad w_2 + b > 0.$$ > 把后两式相加得 $w_1 + w_2 + 2b > 0$，即 $w_1 + w_2 + b > -b$；而 $b<0$ 意味着 $-b>0$，于是 $w_1 + w_2 + b > 0$——与第二个条件矛盾。所以**单层**线性模型不可能实现 XOR（几何上：四个点无法用一条直线按此标签切开）。解药其实很简单——**多加一层**（隐藏层做非线性特征变换，见 [[Lecture 4 · 深度学习]]）；但当年既缺训练多层网络的算法（反向传播尚未流行），这本书的悲观论断又太有影响力，整个方向被冻结了十余年。 ### 4.2 联结主义复兴（1980–1989） - **1980**：Fukushima 的**新认知机（Neocognitron）**——分层局部感受野的结构，也就是用于图像的**卷积神经网络（CNN）**的前身； - **1986**：Rumelhart / Hinton / Williams **推广了反向传播（backpropagation）**——用链式法则高效计算多层网络的梯度，使「多加一层」从想法变成可训练的现实（这正是本课 Lecture 1 里自动微分的核心算法）； - **1989**：LeCun 把 CNN 用于识别手写数字，服务于美国邮政（USPS）——神经网络第一次大规模商用。 > [!note] 2000 年代的沉寂 > 复兴并未一帆风顺：神经网络**难以训练**（梯度消失、需要调参黑魔法、缺少大数据集），在 2000 年代并不受待见——当时统计机器学习（尤其 SVM：凸优化、有理论保证、开箱即用）风头正劲，很多人认为神经网络已经「死了」。这是三大传统之间又一次此消彼长——也再次证明「某方法不行」的判断往往依赖于当时的算力与数据条件。 ### 4.3 深度学习崛起（2006–2017） 真正的转折点，是**算力（GPU）+ 数据（互联网规模）+ 算法**三者同时到位： - **2006**：Hinton 等提出深度网络的无监督逐层预训练，让「深」网络首次可训； - **2009**：神经网络在**语音识别**上超越隐马尔可夫模型（HMM），震动整个语音社区——第一块倒下的多米诺； - **2012**：**AlexNet**（GPU 训练 + ImageNet 百万级数据）在物体识别上把错误率一举拉低约 10 个百分点 → **改变了整个计算机视觉领域**； - **2014**：序列到序列（[seq2seq](https://arxiv.org/abs/1409.3215)）建模、[Adam 优化器](https://arxiv.org/abs/1412.6980)； - **2015**：[注意力机制（Attention）](https://arxiv.org/abs/1409.0473)（用于机器翻译）； - **2016**：**AlphaGo** 用深度强化学习击败世界冠军李世石——符号定义的游戏、神经网络的评估、强化学习的训练，三大传统同台； - **2017**：**[Transformer 架构](https://arxiv.org/abs/1706.03762)**（用于机器翻译）问世——通往今天大模型的门槛（其内部构造见 [[Lecture 17 · 语言模型]]）。 > [!tip] 直觉 > 回看第一次 AI 寒冬的两大瓶颈（算力受限 / 信息受限），深度学习的崛起恰恰是这两个瓶颈被同时打破的结果：**摩尔定律与 GPU** 供给了算力，**互联网**供给了信息（人类知识第一次以机器可读的规模存在）。算法（反向传播）其实 1986 年就在那里等着——等的就是这两样燃料。历史的教训是：评估一个方法，要连同它所处时代的资源约束一起评估。 --- ## 5. 统计传统：AI 之外的严谨源流 第三条脉络，很多思想其实**诞生于 AI 圈之外**——来自统计学、运筹学、信息论。它带来的是数学上的**严谨性**：明确的目标函数、收敛的证明、泛化的理论。 ### 5.1 早期思想（AI 诞生之前就有） | 年份 | 工作 | 谁 | 你在本课的哪里见过它 | | :---: | :--- | :--- | :--- | | **1801** | 线性回归 | Gauss, Legendre | Lecture 2 线性回归 | | **1936** | 线性分类 | Fisher | Lecture 3 线性分类 | | **1951** | 随机梯度下降 SGD | Robbins / Monro | Lecture 1–2；Lecture 8 收敛条件 | | **1956** | 一致代价搜索（最短路） | Dijkstra | Lecture 6 UCS | | **1957** | 马尔可夫决策过程 MDP | Bellman | Lecture 7 MDP | > [!tip] 直觉 > 这张表本身就是一次揭底：本课几乎每一个「算法」模块，它的数学内核都能追溯到统计/运筹传统里某个几十年前的经典结果——高斯为预测谷神星轨道发明了最小二乘，Bellman 为运筹优化写下了动态规划。AI 并没有发明这些数学，它做的是**把这些数学接到「智能」这个雄心上**。你学的不是新发明，而是站在巨人肩上。 ### 5.2 统计机器学习（1985 起） - **1985**：**贝叶斯网络（Bayesian networks）**（Pearl）——用图结构组织概率分布，让**不确定性下的推理**成为可能（本课 Lecture 12–14）。这正是对专家系统「确定性规则」死穴的正面回答； - **1995**：**支持向量机（SVM）**（Cortes / Vapnik）在 ML 界走红：凸优化、更易训练，根植于**统计学习理论**（泛化界）； - **1999**：变分推断（variational inference）被 Jordan / Jaakkola 推广——把推断问题转化为优化问题； - **2001**：条件随机场（CRF）（Lafferty / McCallum / Pereira）可用于**预测结构**（序列标注等）； - **2003**：主题模型（topic modeling）（Blei / Ng / Jordan）引入层次结构与参数的不确定性。 > [!note] 与符号主义的接力 > 还记得符号主义专家系统的死穴——「无法处理不确定性」吗？贝叶斯网络（1985）正是对这个死穴的正面回答：用**概率**取代**确定性规则**，优雅地建模一个充满噪声与歧义的世界；而且 Pearl 的图结构保留了符号时代「知识要有结构」的洞见（节点与边就是可读的因果/依赖陈述）。统计传统不是推倒重来，而是给符号的骨架注入了概率的血液（见 [[Lecture 12 · 贝叶斯网络 I：建模与推断]]）。 --- ## 6. 三线汇流：基础模型（Foundation Models） 三大传统在今天融为一炉，最直观的产物就是**基础模型 / 大语言模型**。 ### 6.1 预训练语言模型 - **ELMo**：用 LSTM 做预训练，把学到的表示迁移给下游任务微调，证明「先预训练、再微调」范式有效 · [1802.05365](https://arxiv.org/abs/1802.05365)； - **BERT**：把同一范式搬上 Transformer，横扫各 NLP 基准 · [1810.04805](https://arxiv.org/abs/1810.04805)； - **T5**（Google, 11B）：把**一切任务都转化为「文本到文本」**——分类、翻译、问答共用同一个接口 · [1910.10683](https://arxiv.org/abs/1910.10683)。 ### 6.2 规模化（Scaling up） ```mermaid graph LR G2["GPT-2
流畅文本
zero-shot 苗头"] --> SL["缩放定律
Scaling Laws
可预测性"] SL --> G3["GPT-3
上下文学习
(闭源)"] G3 --> CH["Chinchilla
算力最优缩放"] CH --> LL["Llama 3 /
DeepSeek v3"] style G2 fill:#e1f5fe,stroke:#0277bd style SL fill:#ffe0b2,stroke:#e65100 style G3 fill:#f3e5f5,stroke:#7b1fa2 style LL fill:#c8e6c9,stroke:#2e7d32 ``` - **GPT-2**：流畅文本，首次出现 zero-shot 能力的苗头； - **[缩放定律（Scaling Laws）](https://arxiv.org/abs/2001.08361)**：损失随参数量 $N$ 与数据量 $D$ 按幂律可预测地下降，常写作$$L(N, D) = E + \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}}$$其中 $L$ 是测试损失，$E$ 是不可约损失（数据本身的熵），$A, B, \alpha, \beta$ 是拟合常数。它的革命性在于**可预测性**：训一批小模型就能外推大模型的表现，「越大越好」从信仰变成了工程规划（系统展开见 CS336 的 [[Lecture 9 · 缩放定律 I：基础]]）； - **[GPT-3](https://arxiv.org/abs/2005.14165)**：上下文学习（in-context learning）——不更新权重，仅凭提示里的几个示例就能学会新任务；但闭源； - **Chinchilla**：算力最优（compute-optimal）的缩放——给定算力预算 $C$，最优的 $N$ 与 $D$ 应大致同速增长（经验法则约每参数 20 token），此前的大模型普遍「参数过大、数据不足」； - **[Llama 3](https://arxiv.org/abs/2407.21783)** / **[DeepSeek v3](https://arxiv.org/abs/2412.19437)**：开放权重阵营把前沿能力带出封闭实验室（这正是 [[Lecture 19 · AI 供应链与生态系统]] 「开放性谱系」的现实力量）。 ### 6.3 推理（Reasoning） - 回答难题需要「思考」——语言模型在给出最终答案前，先生成一长串**「思维」（thoughts）**，用推理时的计算换取答案质量； - 代表模型：OpenAI 的 o1–o4、DeepSeek 的 r1（用可验证奖励的强化学习训练出长推理，见 CS336 的 [[Lecture 16 · 对齐 II：RLVR]]）。 > [!tip] 直觉 > 这是极富象征意味的一幕：起步于**感知**（perception）的深度学习，如今转向了**推理**（reasoning）——而推理，正是当年**符号主义**的终极目标。神经与符号，绕了一大圈又走到一起：只不过这一次，推理链不是人手写的规则，而是从数据与奖励中**学出来**的。 ### 6.4 AI 的工业化 AI 已经从纯研究，走向了**重工业级**的规模： | 事实 | 数字 | | :--- | :--- | | GPT-4 参数量（据传） | ~1.8 万亿（1.8T） | | GPT-4 训练成本（据传） | ~1 亿美元 | | xAI 为训练 Grok 建的集群 | 20 万块 H100 | | Stargate（OpenAI+NVIDIA+Oracle） | 4 年投资 5000 亿美元 | > [!warning] 与达特茅斯时代的对照 > 1956 年的 AI 是一间敞开的研讨室；今天的前沿 AI 是保密的重工业——GPT-4 技术报告直言，出于竞争与安全考虑，**不披露架构、数据、训练方法等任何细节**。这正是 [[Lecture 19 · AI 供应链与生态系统]] 「权力集中 / 透明度」担忧的现实注脚：能力越集中、投入越昂贵，信息就越封闭。 > [!note] > AI 已从实验室走出，开始塑造商业与公共政策——**但研究远未结束**（the research is still far from done）。规模不是理解，工业化不是终点。 --- ## 7. 临别思考：从对立到熔炉 ### 7.1 传统之间的激烈交锋 三大传统的历史，充满了「你死我活」的派系之争： - **Minsky / Papert 力推符号主义，用一本《感知机》（1969）几乎亲手扼杀了神经网络研究**——经费与人才随之流失十余年； - **2000 年代的统计机器学习界，一度认为神经网络已经死透**——SVM 的理论优雅让「没有泛化界的多层网络」显得像炼金术。 ### 7.2 更深的联系 但拉长时间看，它们的边界其实一直在渗透： ```mermaid graph TD subgraph 表面对立 A["符号 vs 神经 vs 统计
派系之争"] end subgraph 深层连接 B["McCulloch/Pitts 的神经网络奠基论文
讲的却是如何实现逻辑运算"] C["围棋纯用符号定义
却靠深度神经网络攻克"] D["深度学习起于感知
如今转向推理(符号 AI 的目标)"] end A -.真相是.-> B A -.真相是.-> C A -.真相是.-> D style A fill:#ffcdd2,stroke:#c62828 style B fill:#e1f5fe,stroke:#0277bd style C fill:#f3e5f5,stroke:#7b1fa2 style D fill:#c8e6c9,stroke:#2e7d32 ``` - McCulloch / Pitts 的**神经网络**奠基论文，主题竟是**如何实现逻辑运算**（神经里藏着符号）； - **围棋**是用符号纯粹定义的游戏（棋盘、规则皆离散精确），但攻克它的关键却是**深度神经网络**加统计的自我对弈训练； - **深度学习**最初全是关于**感知**，如今却转向了**推理**——符号 AI 当年的梦想。 ### 7.3 AI 是一个大熔炉（melting pot） > [!tip] AI is a melting pot > 三大传统各自贡献了不可替代的一块—— > - **符号 AI**：提供了**愿景与雄心**（vision and ambition）——「让机器使用语言、形成概念、解决人类的问题」这个目标本身； > - **神经 AI**：提供了**模型架构**（model architectures）——从感知机到 CNN 到 Transformer，一整套可学习的表示机器； > - **统计 AI**：提供了**严谨性**（rigor）——目标函数、优化算法、泛化理论，让「学习」成为可分析的数学对象。 而这门课的立场很明确：**我们会看到这三大传统的全部元素。** 下一节，就用这条主线把整门课收进来。 --- ## 8. 用三大传统回顾整门课 CS221 的每个单元，都恰好落在三条脉络中的某一支（或多支的交叉）。这也是为什么课程叫「原理与技术」——它教的不是某一派，而是三派共同的地基。 ```mermaid graph TD ROOT["CS221
三大传统的交汇"] --> SYM["🔤 符号 symbolic"] ROOT --> NEU["🧠 神经 neural"] ROOT --> STA["📊 统计 statistical"] SYM --> L15["L15-16 逻辑
命题 / 一阶逻辑
蕴含 / 归结"] SYM --> L5["L5-6 搜索
状态空间 / A*
(符号的规划)"] NEU --> L1["L1 张量 / 反向传播"] NEU --> L4["L4 深度学习"] NEU --> L17["L17 语言模型 / Transformer"] STA --> L2["L2-3 线性回归 / 分类"] STA --> L7["L7-9 MDP / 强化学习"] STA --> L10["L10-11 博弈"] STA --> L12["L12-14 贝叶斯网络"] style ROOT fill:#ffe0b2,stroke:#e65100 style SYM fill:#e1f5fe,stroke:#0277bd style NEU fill:#f3e5f5,stroke:#7b1fa2 style STA fill:#c8e6c9,stroke:#2e7d32 ``` | 课程模块 | 主要传统 | 与历史的呼应 | | :--- | :--- | :--- | | **[[Lecture 1 · 张量、梯度与监督学习]]** | 🧠 神经 | 1986 反向传播被推广 | | **[[Lecture 2 · 线性回归]] / [[Lecture 3 · 线性分类]]** | 📊 统计 | 1801 回归、1936 分类、1958 感知机 | | **[[Lecture 4 · 深度学习]]** | 🧠 神经 | 2006 起深度学习崛起 | | **[[Lecture 5 · 搜索算法 I]] / [[Lecture 6 · UCS 与 A* 搜索]]** | 🔤 符号 | 1955 Logic Theorist、1956 Dijkstra | | **[[Lecture 7 · 马尔可夫决策过程]] – L9 强化学习** | 📊 统计 | 1957 Bellman MDP、1951 Robbins-Monro | | **[[Lecture 10 · 博弈 I：Minimax 与 α-β 剪枝]] – L11** | 📊 统计 (× 🔤) | 1952 Samuel 跳棋、2016 AlphaGo | | **[[Lecture 12 · 贝叶斯网络 I：建模与推断]] – L14** | 📊 统计 | 1985 Pearl 贝叶斯网络 | | **[[Lecture 15 · 逻辑 I：命题逻辑]] – L16** | 🔤 符号 | 1956 达特茅斯、专家系统 | | **[[Lecture 17 · 语言模型]]** | 🧠 × 📊 × 🔤 | 2017 Transformer，三线汇流 | | **[[Lecture 18 · AI 与社会]] – L19** | 全部 | AI 工业化的当下 | > [!tip] 直觉 > 看这张表，会发现一件深刻的事：**同一个问题，不同传统给出的答案会长得完全不一样。** > - 让机器下棋：符号派写规则搜索（minimax），神经派学评估函数（TD / AlphaGo）； > - 让机器理解语言：符号派写文法规则，神经派训 Transformer； > - 面对不确定性：符号派用逻辑（做不到），统计派用概率（贝叶斯网络）——这正是历史给出的裁决。 > > 更妙的是**交叉地带**：博弈（L10–11）里，符号的搜索树 + 统计的学习（TD）+ 神经的价值网络三者缺一不可；语言模型（L17）更是把三者彻底熔在一起。这门课真正想教你的，不是选边站，而是**在合适的地方调用合适的传统**。 --- ## 9. 总结 ```mermaid mindmap root((AI 的历史
与本课)) 图灵测试 1950 "机器能思考吗？" 锚定为可测量的问题 留空「怎么做」 符号主义 达特茅斯 1956 命名 AI Logic Theorist 搜索+启发式 过度乐观 → 令人失望 ALPAC 1966 第一次寒冬 专家系统 DENDRAL/MYCIN/XCON 1987 第二次寒冬 连接主义 神经 感知机 1958 XOR 危机 1969 反向传播 1986 深度学习 2006 起 AlphaGo/Transformer 统计 回归/分类/SGD (AI 之外) Bellman MDP 1957 Pearl 贝叶斯网络 1985 SVM 1995 熔炉 符号 → 愿景与雄心 神经 → 模型架构 统计 → 严谨性 ``` **关键要点**： - **三大传统**是理解 AI 史的主线：**符号主义**（逻辑 / 规则 / 搜索）、**连接主义**（类脑网络 / 学习）、**统计**（概率 / 优化 / 泛化）。它们从逻辑、大脑、数学三个隐喻出发，几度对立，最终融合。 - **图灵测试（1950）**把「机器能否思考」变成可测量的操作性问题，并有意留空了实现路径；**达特茅斯会议（1956）**由 McCarthy 命名了「人工智能」。 - **AI 的反复经验**：早期的**过度乐观**屡屡撞上现实——两次寒冬的根因是**算力受限**与**信息受限**两大瓶颈。而深度学习的崛起，正是这两个瓶颈被 **GPU + 互联网**同时打破的结果。历史提醒我们：许多「AI 做不到」，只是「暂时还不够」。 - **接力的逻辑**：专家系统死于「确定性规则处理不了不确定性」与「手写规则不可扩展」——前者由统计（贝叶斯网络）接棒解决，后者由神经（从数据学特征）接棒解决；1969 年的 XOR 危机则由「多加一层 + 反向传播」化解。每次寒冬都精确暴露了下一棒该解决的问题。 - **AI 是一个熔炉**：符号提供**愿景**、神经提供**架构**、统计提供**严谨**；本课的每个模块都能归入其中一支，交叉地带（博弈、语言模型）尤其精彩。 - **当下与未来**：AI 已完成工业化（万亿参数、亿元训练、千亿美元集群），走出实验室塑造商业与政策——但前沿细节高度封闭（呼应 L19 的透明度之忧），**研究远未结束**。 > [!note] 结语 > 这门课从 Lecture 1 的一个张量、一次梯度下降开始，走到今天回望 70 年的三大传统。你会发现，最前沿的大模型里，藏着 1801 年的回归、1957 年的贝尔曼方程、1986 年的反向传播、以及 1956 年那场为期两个月、雄心勃勃却远未收工的夏季研讨会。**智能是什么，我们仍在作答——而你，现在也握着这三支笔了。** 🎓 --- ## 复习自测 > [!question]- Q1：两次 AI 寒冬（1966、1987）的直接导火索各是什么？它们共享哪两个根本瓶颈？深度学习为什么恰好在 2010 年代破局？ > 导火索：1966 年 ALPAC 报告切断机器翻译资助（机器翻译在歧义面前失灵）；1987 年 Lisp 机器市场崩溃（专家系统难维护、难扩展）。共同根因：**算力受限**（符号搜索 $O(b^d)$ 指数爆炸）与**信息受限**（世界知识写不全、机器拿不到）。2010 年代破局是因为两个瓶颈被同时打破：GPU/摩尔定律供给算力，互联网供给机器可读的海量数据——1986 年就绪的反向传播终于等到了燃料。 > [!question]- Q2：证明单层感知机无法实现 XOR。这个结论为什么没有「杀死」神经网络的数学前途？ > 设 $\operatorname{sign}(w_1x_1+w_2x_2+b)$ 实现 XOR，需 $b<0$、$w_1+w_2+b<0$、$w_1+b>0$、$w_2+b>0$。后两式相加得 $w_1+w_2+2b>0$，即 $w_1+w_2+b>-b>0$，与第二式矛盾。但结论只对**单层**成立：加一个隐藏层做非线性变换后，XOR 轻松可分——问题从「表达能力」转成「如何训练多层网络」，而这正是 1986 年反向传播补上的缺口。《感知机》的悲观影响力大于其数学射程，是「正确的定理 + 过度的外推」的典型案例。 > [!question]- Q3：专家系统有哪两大死穴？分别被哪个传统、用什么武器接棒解决？ > 死穴一：**确定性规则无法处理不确定性**（症状与疾病是概率关系）——由统计传统接棒，Pearl 1985 年的贝叶斯网络用图结构化的概率推理正面解决。死穴二：**手写规则不可扩展**（知识获取瓶颈、规则彼此打架）——由神经传统接棒，用「从数据自动学习特征与规则」取代人工萃取。注意接力不是推翻：贝叶斯网络保留了「知识要有结构」的符号洞见，神经网络最终也回头去做符号主义的目标（推理）。 > [!question]- Q4：写出缩放定律的常见函数形式并解释各符号。它为什么被称为大模型时代的「可预测性」来源？Chinchilla 在此之上修正了什么？ > $L(N,D)=E+\dfrac{A}{N^{\alpha}}+\dfrac{B}{D^{\beta}}$：$L$ 为测试损失，$N$ 为参数量，$D$ 为训练 token 数，$E$ 为不可约损失（数据的熵），$A,B,\alpha,\beta$ 为拟合常数。可预测性：幂律意味着用一批小模型的实验就能外推出大模型的损失，把「要不要砸一亿美元训练」从赌博变成工程决策。Chinchilla 的修正：给定算力预算时 $N$ 与 $D$ 应大致同比例增长（约每参数 20 token）——此前的模型普遍参数过多而数据欠喂，同样的算力换个配比能得到更强的模型。 > [!question]- Q5：以 AlphaGo（或今天的推理型大模型）为例，说明三大传统「各自贡献了什么」。 > AlphaGo：**符号**贡献了问题形式与骨架——围棋由离散规则精确定义，主干是博弈树搜索（MCTS，minimax 思想的随机化后代）；**神经**贡献了架构——策略网络与价值网络替代手写评估函数；**统计**贡献了严谨的学习机制——自我对弈的强化学习、梯度优化与泛化。推理型大模型同构：符号给出「推理链」这一目标与形式，神经给出 Transformer 架构，统计给出预训练目标与 RL 训练算法。两个例子都印证：愿景（符号）× 架构（神经）× 严谨（统计），缺一不可。 --- ## 参考资料 - 💻 [history.py](https://github.com/stanford-cs221/autumn2025-lectures/blob/main/history.py) — 本讲可执行讲义 - 🖼️ [Autumn 2023 幻灯片（AI 历史）](https://stanford-cs221.github.io/autumn2023/modules/module.html#include=general%2Fhistory.js&slideId=turing&level=0&mode=print6pp) - 📄 [Turing, A. (1950). *Computing Machinery and Intelligence*](https://academic.oup.com/mind/article/LIX/236/433/986238) — 图灵测试的原始论文 - 📄 [McCarthy et al. (1955). *A Proposal for the Dartmouth Summer Research Project on AI*](http://jmc.stanford.edu/articles/dartmouth/dartmouth.pdf) — 「人工智能」一词的诞生地 - 📖 [Russell & Norvig, *Artificial Intelligence: A Modern Approach* — 第 1 章「AI 的历史」](https://aima.cs.berkeley.edu/) — 权威的 AI 史综述 - 📄 [Attention Is All You Need (2017)](https://arxiv.org/abs/1706.03762) · [GPT-3 (2020)](https://arxiv.org/abs/2005.14165) · [Scaling Laws (2020)](https://arxiv.org/abs/2001.08361) — 三线汇流的里程碑 - 📄 [Minsky & Papert, *Perceptrons* (1969)](https://mitpress.mit.edu/9780262630221/perceptrons/) — 引发第一次神经网络寒冬的书 - 🌐 [CS221 课程主页 Autumn 2025](https://stanford-cs221.github.io/autumn2025/)