CS221 · 人工智能：原理与技术

Lecture 20 · AI 的历史与课程总结

CS221: Artificial Intelligence — Principles and Techniques · Stanford · Autumn 2025
📅 Dec 3 · 💻 history.py

一句话总览：AI 的历史是三大思想传统——符号主义、连接主义（神经网络）、统计——反复碰撞又彼此融合的故事；这门课的每一个模块，都是这三条脉络中的一支。

从社会话题到全局回望

前两讲（Lecture 18 · AI 与社会与 Lecture 19 · AI 供应链与生态系统）：

我们从技术内部走到技术外部：双重用途、偏见与不平等、对齐与奖励作弊、版权；
生态系统视角：数据 ← 人、算力 ← 环境资源、模型、部署，以及权力集中与透明度；
这两讲关注的是「AI 正在如何塑造社会」这个当下与未来的问题。

本讲（历史与总结）：

把镜头拉到最远：回看 AI 走过的 70 多年——它从哪来？
用三大传统这一条主线，串起从图灵测试到基础模型的关键节点；
再用同一条主线，把整门课（学习 / 搜索 / MDP 与强化学习 / 博弈 / 贝叶斯网络 / 逻辑 / 语言模型）逐一归位；
这是最后一讲，我们以一段温和的结语收束。

提示

学完了「怎么做」，最后一课来看「为什么会是这样」。历史不是花絮，而是理解这门学科气质的钥匙：知道符号主义为何两度入冬，你才明白今天的人为什么如此看重「从数据学习」；知道神经网络曾被宣判死刑三十年，你才不会把当下任何一种范式当成终点。历史还提供了一个反复应验的判词：很多「AI 做不到」，只是「当时的算力和数据还不够」。

1. 三大思想传统

整部 AI 史，可以浓缩成三种回答「如何造出智能」的思路。它们各自起源不同、几度此消彼长，最终在今天融为一炉。

graph TD
    Q["如何造出智能？"] --> S["🔤 符号主义<br/>symbolic AI"]
    Q --> N["🧠 连接主义 / 神经<br/>neural AI"]
    Q --> T["📊 统计<br/>statistical AI"]

    S --> S1["用符号 + 规则<br/>表示知识与推理"]
    N --> N1["用类脑的网络<br/>从数据中学习"]
    T --> T1["用概率与优化<br/>在不确定性下建模"]

    style Q fill:#ffe0b2,stroke:#e65100
    style S fill:#e1f5fe,stroke:#0277bd
    style N fill:#f3e5f5,stroke:#7b1fa2
    style T fill:#c8e6c9,stroke:#2e7d32

传统	核心信念	表示形式	代表工作	贡献了什么
符号主义 symbolic	智能 = 对符号做逻辑推理	规则、逻辑、搜索树	Logic Theorist、专家系统	愿景与雄心（vision & ambition）
连接主义 neural	智能 = 类脑网络从经验中涌现	权重、激活、网络层	感知机、反向传播、深度学习	模型架构（model architectures）
统计 statistical	智能 = 在不确定性下做最优推断	概率分布、损失函数	贝叶斯网络、SVM、SGD	严谨性（rigor：优化 / 泛化）

提示

三大传统并非「谁对谁错」，而是从三个不同的隐喻出发逼近同一个目标：符号主义模仿逻辑学家（智能是推理），连接主义模仿大脑（智能是神经元间的连接强度），统计传统模仿数学家/赌徒（智能是不确定性下的最优决策）。隐喻决定了各自的强项与盲区——逻辑不会处理噪声，大脑说不清为什么，概率写不出雄心——也就注定了它们最终必须互补。本讲的叙事沿这三条线各走一遍，再看它们如何汇流。

2. AI 前史：图灵测试（1950）

在 AI 这个词诞生之前，一个更根本的问题已经被提出。

1950 年，艾伦·图灵（Alan Turing）发表论文《计算机器与智能》（Computing Machinery and Intelligence），劈头就问：

「机器能思考吗？」（Can machines think?）

图灵敏锐地意识到：这个问题太哲学、太模糊——「思考」根本没有公认定义，正面回答只会陷入语词之争。于是他把问题替换成一个可操作的判据：「模仿游戏」（Imitation Game），后世称为图灵测试（Turing Test）：

sequenceDiagram
    participant J as 审问者 (人)
    participant A as 参与者 A (人)
    participant B as 参与者 B (机器)

    J->>A: 提问（通过文字）
    A->>J: 回答
    J->>B: 同样的问题
    B->>J: 回答
    Note over J: 若审问者分不清<br/>谁是机器 → 机器「通过」

审问者只通过文字与两个看不见的对象对话，一个是人、一个是机器；
若审问者无法可靠地区分哪个是机器，则认为机器展现了智能。

提示

图灵测试的意义：把「机器能否思考」这个抽象的哲学问题，锚定成一个可以客观测量的操作性问题（ground a philosophical question in objective measurement）——不问内在（它是否真的「在想」），只问外显（行为上能否与人区分）。这一步「哲学问题 → 可测基准」的转换，正是后来整个 AI 领域「用 benchmark 驱动进展」方法论的源头。

同样重要的是它没有做的事：图灵没有规定该如何造出这样的机器。靠逻辑推理？靠学习？靠概率？这道门被有意留空——而后来的三大传统，正是对这道门的三种作答。

3. 符号主义：黄金时代、寒冬与专家系统

3.1 达特茅斯会议（1956）：AI 的命名

1956 年，约翰·麦卡锡（John McCarthy）在达特茅斯学院（Dartmouth College）组织了一场夏季研讨会——这被公认为 AI 作为一门学科的起点。

召集了当时最顶尖的思想者（香农 Shannon、明斯基 Minsky 等）；
目标堪称狂妄：用两个月在「让机器使用语言、形成抽象与概念、解决人类才能解决的问题」上取得「实质性进展」（significant advance）；
麦卡锡在此造出了「人工智能」（artificial intelligence）这个词。

在此前后，几项标志性成果点燃了乐观情绪：

年份	工作	谁	意义
1952	跳棋自学习程序	Arthur Samuel	权重是学出来的，达到强业余水平——机器学习的早期雏形
1955	Logic Theorist	Newell & Simon	用搜索 + 启发式，为《数学原理》中的定理找到了新证明

说明

注意 Samuel 的跳棋程序：早在 1952 年，就已经出现了「参数由数据/对弈经验学习」的思想——这与本课 Lecture 11 · 博弈 II：TD 学习与同时博弈用 TD 学习训练博弈评估函数几乎是同一条路（Samuel 也因此被视为 TD 思想的先驱）。符号主义的黄金年代里，学习的种子已经埋下。

3.2 压倒性的乐观

早期成果让先驱们对未来做出了今天看来惊人的预言：

🗣️ Herbert Simon：机器将在二十年内，有能力做任何人能做的工作。

🗣️ Marvin Minsky：十年之内，人工智能的问题将被实质性地解决。

🗣️ Claude Shannon：我能想象有一天，我们之于机器人，就像狗之于人类——而我，站在机器这一边。

这种乐观并非愚蠢：在「定理证明、跳棋、代数题」这些当年的「智能巅峰任务」上，程序确实进展神速。错误在于外推——以为难题（下棋）会难、简单题（看图说话、日常对话）会简单，而事实恰恰相反（后来被称为 Moravec 悖论：对人最容易的感知与常识，对机器最难）。

3.3 令人失望的结果 → 第一次 AI 寒冬（1966）

现实远比预言残酷。一个在机器翻译圈广为流传的段子，生动地说明了问题：

英文原句:  The spirit is willing but the flesh is weak.
           (心有余而力不足)
        ↓ 翻成俄文再翻回英文 ↓
回译结果:  The vodka is good but the meat is rotten.
           (伏特加不错，但肉烂了)

注意

系统缺乏对语言与世界的常识理解，只是在做符号替换——「spirit」既是「精神」也是「烈酒」，「flesh」既是「肉体」也是「肉」。歧义的消解需要语境与世界知识，而这恰恰无法写成简单的替换规则。歧义面前，纯符号方法束手无策。

1966 年，ALPAC 报告建议切断对机器翻译的政府资助 → 第一次 AI 寒冬 ❄️ 降临（1973 年英国的 Lighthill 报告进一步在大西洋另一侧重创了 AI 经费）。

到底错在哪里？ history.py 给出两个根本瓶颈——这也是贯穿全史的两条暗线：

graph LR
    P1["❄️ 早期 AI 的两大瓶颈"] --> C["算力受限<br/>limited computation"]
    P1 --> I["信息受限<br/>limited information"]
    C --> C1["搜索空间指数爆炸<br/>远远超出硬件能力"]
    I --> I1["现实世界的复杂度<br/>(词、物体、概念的数量)"]

    style P1 fill:#ffcdd2,stroke:#c62828
    style C fill:#fff3e0,stroke:#ef6c00
    style I fill:#fff3e0,stroke:#ef6c00

算力受限（limited computation）：符号方法的核心是搜索，而搜索空间随问题规模指数增长——分支因子为 $b$、深度为 $d$ 的搜索树有 $O(b^d)$ 个节点，把当时的硬件远远甩在后面；
信息受限（limited information）：现实世界的复杂度——世界上有太多的词、物体、概念及其组合要处理，这些知识既没有人能写全，当时也没有渠道让机器自己获取。

说明

即便寒冬来临，符号主义时代也留下了极有价值的工程遗产。麦卡锡本人就贡献了 Lisp（一门至今仍有生命力的编程语言）、垃圾回收（不必手动分配/释放内存）、以及分时系统（让多人同时使用一台计算机）——这些至今仍是计算机科学的基石。追求智能的副产品，往往先变成了整个行业的基础设施。

3.4 知识 / 专家系统（70–80 年代）

寒冬之后，符号主义换了个思路复兴：既然通用智能太难，那就注入领域知识——用人类专家的知识直接填补「信息受限」的缺口，同时用规则裁剪搜索空间来绕开「算力受限」。

专家系统（expert systems）的核心：从领域专家那里萃取具体知识，编码成一条条规则（如 IF 症状X AND 化验Y THEN 诊断Z），再由推理引擎串联规则得出结论。

graph LR
    E["🧑‍⚕️ 领域专家"] -->|萃取知识| R["规则库<br/>IF-THEN"]
    R --> INF["推理引擎"]
    Q["用户提问"] --> INF
    INF --> A["结论 / 建议"]

    style E fill:#c8e6c9,stroke:#2e7d32
    style R fill:#e1f5fe,stroke:#0277bd
    style INF fill:#ffe0b2,stroke:#e65100

三个标志性系统：

系统	领域	做什么
DENDRAL	化学	从质谱数据推断分子结构
MYCIN	医学	诊断血液感染，推荐抗生素
XCON	工业	把客户订单转换成零件规格

例子

MYCIN 用约 600 条规则做血液感染诊断，在评测中的处方质量不逊于（甚至优于）初级医生——但它从未真正进入临床：责任归属不清、集成进医院工作流困难、维护规则库的成本高昂。这预演了 AI 落地至今的规律：技术指标达标只是开始，部署的瓶颈在系统与制度。

成功之处（Wins）：

✅ 知识同时缓解了信息缺口和算力缺口（把复杂度前置到人写好的规则里，推理时只需走一小片搜索空间）；
✅ 第一批真正影响工业界的 AI 应用（XCON 曾为 DEC 每年节省数千万美元）。

局限（Shortcomings）：

❌ 确定性规则无法应对现实世界的不确定性——症状与疾病之间是概率关系，世界不是非黑即白的 IF-THEN；
❌ 规则很快变得过于复杂，难以创建和维护——规则越加越多、彼此打架，专家的知识也未必能被完整口述出来（知识获取瓶颈）。

注意

1987 年，Lisp 机器市场崩溃 → 第二次 AI 寒冬 ❄️，符号主义再度退潮。但注意它的两大死穴——「无法处理不确定性」和「手写规则不可扩展」——恰恰预示了另外两大传统的登场：统计用概率正面回答了不确定性（贝叶斯网络，1985），神经用「从数据自动学特征」取代了手写规则。历史的接力棒就是这样交出去的。

4. 连接主义：神经网络的两起两落

如果说符号主义模仿的是逻辑，连接主义模仿的就是大脑。它的历史是一条起伏剧烈的曲线。

timeline
    title 连接主义 / 神经网络编年史
    section 起源 (1943-1958)
        1943 : McCulloch/Pitts 人工神经元<br/>(把神经回路与数理逻辑相联)
        1949 : Hebb 学习律<br/>"一起放电的细胞连在一起"
        1958 : Rosenblatt 感知机<br/>(线性分类器)
        1959 : Widrow/Hoff ADALINE<br/>(线性回归)
    section 第一次寒冬 (1969)
        1969 : Minsky/Papert《感知机》<br/>证明线性模型解不了 XOR<br/>→ 几乎扼杀神经网络研究 ❄️
    section 联结主义复兴 (1980-1989)
        1980 : Fukushima 新认知机<br/>(即卷积神经网络 CNN)
        1986 : 反向传播被推广<br/>(Rumelhart/Hinton/Williams)
        1989 : LeCun 用 CNN 识别手写数字<br/>(为美国邮政 USPS)
    section 深度学习崛起 (2006-2017)
        2006 : Hinton 无监督逐层预训练
        2009 : 神经网络在语音识别上超越 HMM
        2012 : AlexNet 在物体识别上大幅领先<br/>→ 改变计算机视觉
        2016 : AlphaGo 击败李世石
        2017 : Transformer 架构问世

4.1 起源与第一次寒冬（1943–1969）

1943：McCulloch / Pitts 提出人工神经元模型，把神经回路与数理逻辑联系起来（有趣的是，这篇奠基之作其实是在讲「如何用神经元实现逻辑运算」——符号与神经，从一开始就纠缠在一起）；
1949：Hebb 提出学习律——「一起放电的细胞会连在一起」（cells that fire together wire together）：若神经元 $i$ 与 $j$ 频繁同时激活，其连接权重应增强，$\Delta w_{ij} \propto a_i\, a_j$（$a_i, a_j$ 为两个神经元的激活值）。这是「权重可以由经验塑造」的最早表述；
1958：Rosenblatt 的感知机（Perceptron）算法，用于线性分类：$\hat{y} = \operatorname{sign}(w \cdot x + b)$——正是本课 Lecture 3 · 线性分类的模型；
1959：Widrow / Hoff 的 ADALINE 装置，用于线性回归；
1969：Minsky / Papert 的《感知机》一书证明线性模型连 XOR 都解不了 → 几乎扼杀了神经网络研究 ❄️。

例子

XOR 要求：$(0,0)\mapsto{-}$、$(1,1)\mapsto{-}$、$(1,0)\mapsto{+}$、$(0,1)\mapsto{+}$。假设存在 $w_1, w_2, b$ 使 $\operatorname{sign}(w_1x_1 + w_2x_2 + b)$ 实现它，则需同时满足：
$$b < 0,\qquad w_1 + w_2 + b < 0,\qquad w_1 + b > 0,\qquad w_2 + b > 0.$$
把后两式相加得 $w_1 + w_2 + 2b > 0$，即 $w_1 + w_2 + b > -b$；而 $b<0$ 意味着 $-b>0$，于是 $w_1 + w_2 + b > 0$——与第二个条件矛盾。所以单层线性模型不可能实现 XOR（几何上：四个点无法用一条直线按此标签切开）。解药其实很简单——多加一层（隐藏层做非线性特征变换，见 Lecture 4 · 深度学习）；但当年既缺训练多层网络的算法（反向传播尚未流行），这本书的悲观论断又太有影响力，整个方向被冻结了十余年。

4.2 联结主义复兴（1980–1989）

1980：Fukushima 的新认知机（Neocognitron）——分层局部感受野的结构，也就是用于图像的卷积神经网络（CNN）的前身；
1986：Rumelhart / Hinton / Williams 推广了反向传播（backpropagation）——用链式法则高效计算多层网络的梯度，使「多加一层」从想法变成可训练的现实（这正是本课 Lecture 1 里自动微分的核心算法）；
1989：LeCun 把 CNN 用于识别手写数字，服务于美国邮政（USPS）——神经网络第一次大规模商用。

说明

复兴并未一帆风顺：神经网络难以训练（梯度消失、需要调参黑魔法、缺少大数据集），在 2000 年代并不受待见——当时统计机器学习（尤其 SVM：凸优化、有理论保证、开箱即用）风头正劲，很多人认为神经网络已经「死了」。这是三大传统之间又一次此消彼长——也再次证明「某方法不行」的判断往往依赖于当时的算力与数据条件。

4.3 深度学习崛起（2006–2017）

真正的转折点，是算力（GPU）+ 数据（互联网规模）+ 算法三者同时到位：

2006：Hinton 等提出深度网络的无监督逐层预训练，让「深」网络首次可训；
2009：神经网络在语音识别上超越隐马尔可夫模型（HMM），震动整个语音社区——第一块倒下的多米诺；
2012：AlexNet（GPU 训练 + ImageNet 百万级数据）在物体识别上把错误率一举拉低约 10 个百分点 → 改变了整个计算机视觉领域；
2014：序列到序列（seq2seq）建模、Adam 优化器；
2015：注意力机制（Attention）（用于机器翻译）；
2016：AlphaGo 用深度强化学习击败世界冠军李世石——符号定义的游戏、神经网络的评估、强化学习的训练，三大传统同台；
2017：Transformer 架构（用于机器翻译）问世——通往今天大模型的门槛（其内部构造见 Lecture 17 · 语言模型）。

提示

回看第一次 AI 寒冬的两大瓶颈（算力受限 / 信息受限），深度学习的崛起恰恰是这两个瓶颈被同时打破的结果：摩尔定律与 GPU 供给了算力，互联网供给了信息（人类知识第一次以机器可读的规模存在）。算法（反向传播）其实 1986 年就在那里等着——等的就是这两样燃料。历史的教训是：评估一个方法，要连同它所处时代的资源约束一起评估。

5. 统计传统：AI 之外的严谨源流

第三条脉络，很多思想其实诞生于 AI 圈之外——来自统计学、运筹学、信息论。它带来的是数学上的严谨性：明确的目标函数、收敛的证明、泛化的理论。

5.1 早期思想（AI 诞生之前就有）

年份	工作	谁	你在本课的哪里见过它
1801	线性回归	Gauss, Legendre	Lecture 2 线性回归
1936	线性分类	Fisher	Lecture 3 线性分类
1951	随机梯度下降 SGD	Robbins / Monro	Lecture 1–2；Lecture 8 收敛条件
1956	一致代价搜索（最短路）	Dijkstra	Lecture 6 UCS
1957	马尔可夫决策过程 MDP	Bellman	Lecture 7 MDP

提示

这张表本身就是一次揭底：本课几乎每一个「算法」模块，它的数学内核都能追溯到统计/运筹传统里某个几十年前的经典结果——高斯为预测谷神星轨道发明了最小二乘，Bellman 为运筹优化写下了动态规划。AI 并没有发明这些数学，它做的是把这些数学接到「智能」这个雄心上。你学的不是新发明，而是站在巨人肩上。

5.2 统计机器学习（1985 起）

1985：贝叶斯网络（Bayesian networks）（Pearl）——用图结构组织概率分布，让不确定性下的推理成为可能（本课 Lecture 12–14）。这正是对专家系统「确定性规则」死穴的正面回答；
1995：支持向量机（SVM）（Cortes / Vapnik）在 ML 界走红：凸优化、更易训练，根植于统计学习理论（泛化界）；
1999：变分推断（variational inference）被 Jordan / Jaakkola 推广——把推断问题转化为优化问题；
2001：条件随机场（CRF）（Lafferty / McCallum / Pereira）可用于预测结构（序列标注等）；
2003：主题模型（topic modeling）（Blei / Ng / Jordan）引入层次结构与参数的不确定性。

说明

还记得符号主义专家系统的死穴——「无法处理不确定性」吗？贝叶斯网络（1985）正是对这个死穴的正面回答：用概率取代确定性规则，优雅地建模一个充满噪声与歧义的世界；而且 Pearl 的图结构保留了符号时代「知识要有结构」的洞见（节点与边就是可读的因果/依赖陈述）。统计传统不是推倒重来，而是给符号的骨架注入了概率的血液（见 Lecture 12 · 贝叶斯网络 I：建模与推断）。

6. 三线汇流：基础模型（Foundation Models）

三大传统在今天融为一炉，最直观的产物就是基础模型 / 大语言模型。

6.1 预训练语言模型

ELMo：用 LSTM 做预训练，把学到的表示迁移给下游任务微调，证明「先预训练、再微调」范式有效 · 1802.05365；
BERT：把同一范式搬上 Transformer，横扫各 NLP 基准 · 1810.04805；
T5（Google, 11B）：把一切任务都转化为「文本到文本」——分类、翻译、问答共用同一个接口 · 1910.10683。

6.2 规模化（Scaling up）

graph LR
    G2["GPT-2<br/>流畅文本<br/>zero-shot 苗头"] --> SL["缩放定律<br/>Scaling Laws<br/>可预测性"]
    SL --> G3["GPT-3<br/>上下文学习<br/>(闭源)"]
    G3 --> CH["Chinchilla<br/>算力最优缩放"]
    CH --> LL["Llama 3 /<br/>DeepSeek v3"]

    style G2 fill:#e1f5fe,stroke:#0277bd
    style SL fill:#ffe0b2,stroke:#e65100
    style G3 fill:#f3e5f5,stroke:#7b1fa2
    style LL fill:#c8e6c9,stroke:#2e7d32

GPT-2：流畅文本，首次出现 zero-shot 能力的苗头；
缩放定律（Scaling Laws）：损失随参数量 $N$ 与数据量 $D$ 按幂律可预测地下降，常写作$$L(N, D) = E + \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}}$$其中 $L$ 是测试损失，$E$ 是不可约损失（数据本身的熵），$A, B, \alpha, \beta$ 是拟合常数。它的革命性在于可预测性：训一批小模型就能外推大模型的表现，「越大越好」从信仰变成了工程规划（系统展开见 CS336 的 Lecture 9 · 缩放定律 I：基础（未找到对应页面））；
GPT-3：上下文学习（in-context learning）——不更新权重，仅凭提示里的几个示例就能学会新任务；但闭源；
Chinchilla：算力最优（compute-optimal）的缩放——给定算力预算 $C$，最优的 $N$ 与 $D$ 应大致同速增长（经验法则约每参数 20 token），此前的大模型普遍「参数过大、数据不足」；
Llama 3 / DeepSeek v3：开放权重阵营把前沿能力带出封闭实验室（这正是 Lecture 19 · AI 供应链与生态系统「开放性谱系」的现实力量）。

6.3 推理（Reasoning）

回答难题需要「思考」——语言模型在给出最终答案前，先生成一长串「思维」（thoughts），用推理时的计算换取答案质量；
代表模型：OpenAI 的 o1–o4、DeepSeek 的 r1（用可验证奖励的强化学习训练出长推理，见 CS336 的 Lecture 16 · 对齐 II：RLVR（未找到对应页面））。

提示

这是极富象征意味的一幕：起步于感知（perception）的深度学习，如今转向了推理（reasoning）——而推理，正是当年符号主义的终极目标。神经与符号，绕了一大圈又走到一起：只不过这一次，推理链不是人手写的规则，而是从数据与奖励中学出来的。

6.4 AI 的工业化

AI 已经从纯研究，走向了重工业级的规模：

事实	数字
GPT-4 参数量（据传）	~1.8 万亿（1.8T）
GPT-4 训练成本（据传）	~1 亿美元
xAI 为训练 Grok 建的集群	20 万块 H100
Stargate（OpenAI+NVIDIA+Oracle）	4 年投资 5000 亿美元

注意

1956 年的 AI 是一间敞开的研讨室；今天的前沿 AI 是保密的重工业——GPT-4 技术报告直言，出于竞争与安全考虑，不披露架构、数据、训练方法等任何细节。这正是 Lecture 19 · AI 供应链与生态系统「权力集中 / 透明度」担忧的现实注脚：能力越集中、投入越昂贵，信息就越封闭。

说明

AI 已从实验室走出，开始塑造商业与公共政策——但研究远未结束（the research is still far from done）。规模不是理解，工业化不是终点。

7. 临别思考：从对立到熔炉

7.1 传统之间的激烈交锋

三大传统的历史，充满了「你死我活」的派系之争：

Minsky / Papert 力推符号主义，用一本《感知机》（1969）几乎亲手扼杀了神经网络研究——经费与人才随之流失十余年；
2000 年代的统计机器学习界，一度认为神经网络已经死透——SVM 的理论优雅让「没有泛化界的多层网络」显得像炼金术。

7.2 更深的联系

但拉长时间看，它们的边界其实一直在渗透：

graph TD
    subgraph 表面对立
        A["符号 vs 神经 vs 统计<br/>派系之争"]
    end
    subgraph 深层连接
        B["McCulloch/Pitts 的神经网络奠基论文<br/>讲的却是如何实现逻辑运算"]
        C["围棋纯用符号定义<br/>却靠深度神经网络攻克"]
        D["深度学习起于感知<br/>如今转向推理(符号 AI 的目标)"]
    end
    A -.真相是.-> B
    A -.真相是.-> C
    A -.真相是.-> D

    style A fill:#ffcdd2,stroke:#c62828
    style B fill:#e1f5fe,stroke:#0277bd
    style C fill:#f3e5f5,stroke:#7b1fa2
    style D fill:#c8e6c9,stroke:#2e7d32

McCulloch / Pitts 的神经网络奠基论文，主题竟是如何实现逻辑运算（神经里藏着符号）；
围棋是用符号纯粹定义的游戏（棋盘、规则皆离散精确），但攻克它的关键却是深度神经网络加统计的自我对弈训练；
深度学习最初全是关于感知，如今却转向了推理——符号 AI 当年的梦想。

7.3 AI 是一个大熔炉（melting pot）

提示

三大传统各自贡献了不可替代的一块——

符号 AI：提供了愿景与雄心（vision and ambition）——「让机器使用语言、形成概念、解决人类的问题」这个目标本身；
神经 AI：提供了模型架构（model architectures）——从感知机到 CNN 到 Transformer，一整套可学习的表示机器；
统计 AI：提供了严谨性（rigor）——目标函数、优化算法、泛化理论，让「学习」成为可分析的数学对象。

而这门课的立场很明确：我们会看到这三大传统的全部元素。 下一节，就用这条主线把整门课收进来。

8. 用三大传统回顾整门课

CS221 的每个单元，都恰好落在三条脉络中的某一支（或多支的交叉）。这也是为什么课程叫「原理与技术」——它教的不是某一派，而是三派共同的地基。

graph TD
    ROOT["CS221<br/>三大传统的交汇"] --> SYM["🔤 符号 symbolic"]
    ROOT --> NEU["🧠 神经 neural"]
    ROOT --> STA["📊 统计 statistical"]

    SYM --> L15["L15-16 逻辑<br/>命题 / 一阶逻辑<br/>蕴含 / 归结"]
    SYM --> L5["L5-6 搜索<br/>状态空间 / A*<br/>(符号的规划)"]

    NEU --> L1["L1 张量 / 反向传播"]
    NEU --> L4["L4 深度学习"]
    NEU --> L17["L17 语言模型 / Transformer"]

    STA --> L2["L2-3 线性回归 / 分类"]
    STA --> L7["L7-9 MDP / 强化学习"]
    STA --> L10["L10-11 博弈"]
    STA --> L12["L12-14 贝叶斯网络"]

    style ROOT fill:#ffe0b2,stroke:#e65100
    style SYM fill:#e1f5fe,stroke:#0277bd
    style NEU fill:#f3e5f5,stroke:#7b1fa2
    style STA fill:#c8e6c9,stroke:#2e7d32

课程模块	主要传统	与历史的呼应
Lecture 1 · 张量、梯度与监督学习	🧠 神经	1986 反向传播被推广
Lecture 2 · 线性回归 / Lecture 3 · 线性分类	📊 统计	1801 回归、1936 分类、1958 感知机
Lecture 4 · 深度学习	🧠 神经	2006 起深度学习崛起
*Lecture 5 · 搜索算法 I / Lecture 6 · UCS 与 A 搜索**	🔤 符号	1955 Logic Theorist、1956 Dijkstra
Lecture 7 · 马尔可夫决策过程 – L9 强化学习	📊 统计	1957 Bellman MDP、1951 Robbins-Monro
Lecture 10 · 博弈 I：Minimax 与 α-β 剪枝 – L11	📊 统计 (× 🔤)	1952 Samuel 跳棋、2016 AlphaGo
Lecture 12 · 贝叶斯网络 I：建模与推断 – L14	📊 统计	1985 Pearl 贝叶斯网络
Lecture 15 · 逻辑 I：命题逻辑 – L16	🔤 符号	1956 达特茅斯、专家系统
Lecture 17 · 语言模型	🧠 × 📊 × 🔤	2017 Transformer，三线汇流
Lecture 18 · AI 与社会 – L19	全部	AI 工业化的当下

提示

看这张表，会发现一件深刻的事：同一个问题，不同传统给出的答案会长得完全不一样。

让机器下棋：符号派写规则搜索（minimax），神经派学评估函数（TD / AlphaGo）；
让机器理解语言：符号派写文法规则，神经派训 Transformer；
面对不确定性：符号派用逻辑（做不到），统计派用概率（贝叶斯网络）——这正是历史给出的裁决。

更妙的是交叉地带：博弈（L10–11）里，符号的搜索树 + 统计的学习（TD）+ 神经的价值网络三者缺一不可；语言模型（L17）更是把三者彻底熔在一起。这门课真正想教你的，不是选边站，而是在合适的地方调用合适的传统。

9. 总结

mindmap
  root((AI 的历史<br/>与本课))
    图灵测试 1950
      "机器能思考吗？"
      锚定为可测量的问题
      留空「怎么做」
    符号主义
      达特茅斯 1956 命名 AI
      Logic Theorist 搜索+启发式
      过度乐观 → 令人失望
      ALPAC 1966 第一次寒冬
      专家系统 DENDRAL/MYCIN/XCON
      1987 第二次寒冬
    连接主义 神经
      感知机 1958
      XOR 危机 1969
      反向传播 1986
      深度学习 2006 起
      AlphaGo/Transformer
    统计
      回归/分类/SGD (AI 之外)
      Bellman MDP 1957
      Pearl 贝叶斯网络 1985
      SVM 1995
    熔炉
      符号 → 愿景与雄心
      神经 → 模型架构
      统计 → 严谨性

关键要点：

三大传统是理解 AI 史的主线：符号主义（逻辑 / 规则 / 搜索）、连接主义（类脑网络 / 学习）、统计（概率 / 优化 / 泛化）。它们从逻辑、大脑、数学三个隐喻出发，几度对立，最终融合。
图灵测试（1950）把「机器能否思考」变成可测量的操作性问题，并有意留空了实现路径；达特茅斯会议（1956）由 McCarthy 命名了「人工智能」。
AI 的反复经验：早期的过度乐观屡屡撞上现实——两次寒冬的根因是算力受限与信息受限两大瓶颈。而深度学习的崛起，正是这两个瓶颈被 GPU + 互联网同时打破的结果。历史提醒我们：许多「AI 做不到」，只是「暂时还不够」。
接力的逻辑：专家系统死于「确定性规则处理不了不确定性」与「手写规则不可扩展」——前者由统计（贝叶斯网络）接棒解决，后者由神经（从数据学特征）接棒解决；1969 年的 XOR 危机则由「多加一层 + 反向传播」化解。每次寒冬都精确暴露了下一棒该解决的问题。
AI 是一个熔炉：符号提供愿景、神经提供架构、统计提供严谨；本课的每个模块都能归入其中一支，交叉地带（博弈、语言模型）尤其精彩。
当下与未来：AI 已完成工业化（万亿参数、亿元训练、千亿美元集群），走出实验室塑造商业与政策——但前沿细节高度封闭（呼应 L19 的透明度之忧），研究远未结束。

说明

这门课从 Lecture 1 的一个张量、一次梯度下降开始，走到今天回望 70 年的三大传统。你会发现，最前沿的大模型里，藏着 1801 年的回归、1957 年的贝尔曼方程、1986 年的反向传播、以及 1956 年那场为期两个月、雄心勃勃却远未收工的夏季研讨会。智能是什么，我们仍在作答——而你，现在也握着这三支笔了。 🎓

复习自测

题目

导火索：1966 年 ALPAC 报告切断机器翻译资助（机器翻译在歧义面前失灵）；1987 年 Lisp 机器市场崩溃（专家系统难维护、难扩展）。共同根因：算力受限（符号搜索 $O(b^d)$ 指数爆炸）与信息受限（世界知识写不全、机器拿不到）。2010 年代破局是因为两个瓶颈被同时打破：GPU/摩尔定律供给算力，互联网供给机器可读的海量数据——1986 年就绪的反向传播终于等到了燃料。

题目

设 $\operatorname{sign}(w_1x_1+w_2x_2+b)$ 实现 XOR，需 $b<0$、$w_1+w_2+b<0$、$w_1+b>0$、$w_2+b>0$。后两式相加得 $w_1+w_2+2b>0$，即 $w_1+w_2+b>-b>0$，与第二式矛盾。但结论只对单层成立：加一个隐藏层做非线性变换后，XOR 轻松可分——问题从「表达能力」转成「如何训练多层网络」，而这正是 1986 年反向传播补上的缺口。《感知机》的悲观影响力大于其数学射程，是「正确的定理 + 过度的外推」的典型案例。

题目

死穴一：确定性规则无法处理不确定性（症状与疾病是概率关系）——由统计传统接棒，Pearl 1985 年的贝叶斯网络用图结构化的概率推理正面解决。死穴二：手写规则不可扩展（知识获取瓶颈、规则彼此打架）——由神经传统接棒，用「从数据自动学习特征与规则」取代人工萃取。注意接力不是推翻：贝叶斯网络保留了「知识要有结构」的符号洞见，神经网络最终也回头去做符号主义的目标（推理）。

题目

$L(N,D)=E+\dfrac{A}{N^{\alpha}}+\dfrac{B}{D^{\beta}}$：$L$ 为测试损失，$N$ 为参数量，$D$ 为训练 token 数，$E$ 为不可约损失（数据的熵），$A,B,\alpha,\beta$ 为拟合常数。可预测性：幂律意味着用一批小模型的实验就能外推出大模型的损失，把「要不要砸一亿美元训练」从赌博变成工程决策。Chinchilla 的修正：给定算力预算时 $N$ 与 $D$ 应大致同比例增长（约每参数 20 token）——此前的模型普遍参数过多而数据欠喂，同样的算力换个配比能得到更强的模型。

题目

AlphaGo：符号贡献了问题形式与骨架——围棋由离散规则精确定义，主干是博弈树搜索（MCTS，minimax 思想的随机化后代）；神经贡献了架构——策略网络与价值网络替代手写评估函数；统计贡献了严谨的学习机制——自我对弈的强化学习、梯度优化与泛化。推理型大模型同构：符号给出「推理链」这一目标与形式，神经给出 Transformer 架构，统计给出预训练目标与 RL 训练算法。两个例子都印证：愿景（符号）× 架构（神经）× 严谨（统计），缺一不可。

参考资料

💻 history.py — 本讲可执行讲义
🖼️ Autumn 2023 幻灯片（AI 历史）
📄 Turing, A. (1950). Computing Machinery and Intelligence — 图灵测试的原始论文
📄 McCarthy et al. (1955). A Proposal for the Dartmouth Summer Research Project on AI — 「人工智能」一词的诞生地
📖 Russell & Norvig, Artificial Intelligence: A Modern Approach — 第 1 章「AI 的历史」 — 权威的 AI 史综述
📄 Attention Is All You Need (2017) · GPT-3 (2020) · Scaling Laws (2020) — 三线汇流的里程碑
📄 Minsky & Papert, Perceptrons (1969) — 引发第一次神经网络寒冬的书
🌐 CS221 课程主页 Autumn 2025