Lecture 11 · 博弈 II：TD 学习与同时博弈

CS221: Artificial Intelligence — Principles and Techniques · Stanford · Autumn 2025
📅 Oct 27 · 💻 td_learning.py · simultaneous_games.py

---

从手工启发式到自我对弈

上一讲（Lecture 10 · 博弈 I：Minimax 与 α-β 剪枝）：我们把两人零和博弈形式化为游戏树，用 minimax / expectimax / expectiminimax 三种递归给局面定价；为了对付指数级的树，引入了两个加速手段——α-β 剪枝（精确，只跳过不可能影响答案的子树）与评估函数 + 深度受限搜索（近似，用先验知识给中间局面打分）。遗留问题：评估函数是人手工写的启发式（子力分 + 位置分 + 机动性……），既费人力又难以超越设计者的棋理。

本讲（博弈 II）分成两大块：

• 第一部分（TD 学习）：能不能把评估函数学出来？用强化学习估计状态价值 $V_\pi(s)$，并让程序自我对弈（self-play）自己生成训练数据、自己变强——这条路从 Samuel 跳棋通向 TD-Gammon 与 AlphaGo。
• 第二部分（同时博弈）：放开”回合制”假设，研究双方同时出手的博弈（石头剪刀布、two-finger Morra）。游戏树失效，引出混合策略、minimax 定理与纳什均衡。

---

第一部分 · TD 学习：学习评估函数

1. 动机：为什么要「学」评估函数？

1.1 回顾：minimax 与评估函数

上一讲的核心是 minimax：己方取 $\max$，对手取 $\min$，在游戏树上递归。游戏树太深无法走到底，于是在某个深度截断，用评估函数 $\mathrm{Eval}(s)$ 估计当前局面的好坏。

graph TD
    A["s（轮到 agent）"] -->|"max_a"| B["s'（轮到对手）"]
    B -->|"min_b"| C["s''"]
    C -.->|"深度耗尽"| E["评估函数<br/>Eval(s)"]

    style A fill:#c8e6c9,stroke:#2e7d32
    style B fill:#ffcdd2,stroke:#c62828
    style E fill:#ffe0b2,stroke:#e65100

问题：$\mathrm{Eval}(s)$ 一直是人手工设计的启发式（如国际象棋的「子力价值 + 棋子位置」）。手工设计有两个硬伤：需要深厚的领域知识（换一个游戏就得重来），而且天花板就是设计者自己的理解。能不能让机器自己学出这个评估函数？

1.2 关键类比：TD 学习 : $V_\pi$ :: SARSA : $Q_\pi$

这是理解本讲第一部分的钥匙。先把 Lecture 8 · 强化学习 的两个价值函数摆出来：

记号	含义
$V_\pi(s)$	从状态 $s$ 出发、此后遵循策略 $\pi$ 的期望效用（状态有多好）
$Q_\pi(s, a)$	在 $s$ 先执行动作 $a$、此后遵循 $\pi$ 的期望效用（动作有多好）

L8 里的 SARSA 用自举（bootstrapping）估计 $Q_\pi(s, a)$。本讲的 TD 学习（temporal difference learning，时序差分学习） 用同样的思路估计 $V_\pi(s)$：

1.3 只知道 $V_\pi(s)$，如何读出策略？

有了 Q 值，读出更好的策略很自然（策略改进 policy improvement）：

$$\pi_{\text{new}}(s) = \arg\max_a Q_\pi(s, a)$$

那如果只有 $V_\pi(s)$ 呢？回顾 MDP 里 $V$ 与 $Q$ 的关系：

$$V_\pi(s) = Q_\pi(s, \pi(s)),\qquad Q_\pi(s, a) = \sum_{s'} T(s, a, s')\,\big[R(s, a, s') + \gamma\, V_\pi(s')\big]$$

其中 $T(s,a,s')$ 是转移概率，$R(s,a,s')$ 是即时奖励，$\gamma$ 是折扣因子。代入即得从 $V$ 读出策略的公式：

$$\pi_{\text{new}}(s) = \arg\max_a \sum_{s'} T(s, a, s')\,\big[R(s, a, s') + \gamma\, V_\pi(s')\big]$$

但在博弈里，我们恰好知道 $T$ 和 $R$！——游戏规则完全已知。而且博弈的「动作 → 下一状态」是确定性的（我落一子，棋盘状态就唯一确定），上式大幅简化：

$$\pi_{\text{new}}(s) = \arg\max_a V_\pi\big(\mathrm{Succ}(s, a)\big)$$

其中 $\mathrm{Succ}(s, a)$ 是在 $s$ 执行动作 $a$ 后确定到达的后继状态。只要知道每个后继局面有多好，就能直接选出最好的一步。 这正是「学评估函数」的意义：学到的 $V_\pi$ 就是一个可以直接用来下棋的 $\mathrm{Eval}$。

1.4 为什么用 RL，而不是价值迭代？

一个自然的反问：

「既然博弈里我们已经知道 MDP（规则完全已知），为什么不直接用价值迭代求解，非要用强化学习？」

答案：因为状态数是指数级的，价值迭代根本存不下、算不动。

• 国际象棋约 $10^{45}$ 个局面，围棋约 $10^{170}$ 个；
• 价值迭代要为每个状态存一个 $V(s)$ 并反复全表扫描——在这种规模下不可能。

flowchart LR
    A["博弈 MDP<br/>规则已知"] --> B{"状态数?"}
    B -->|"少"| C["价值迭代<br/>逐状态精确解"]
    B -->|"指数级<br/>(棋类)"| D["强化学习<br/>+ 函数逼近 V(s;w)"]

    style C fill:#e3f2fd,stroke:#1976d2
    style D fill:#c8e6c9,stroke:#2e7d32

---

2. TD 学习算法

2.1 函数逼近：价值网络

不再为每个状态存表，而是用带参数的函数逼近价值：

$$V_\pi(s) \approx V(s; \mathbf{w})$$

其中 $\mathbf{w}$ 是待学习的权重向量。这与 Lecture 9 · 函数逼近与策略梯度 里 Q-learning 的函数逼近是同一招，只是套在 $V$ 上。

2.2 核心思路：自举 + 平方损失 + 梯度步

TD 学习从一条条经验 $(s, a, r, s')$（当前状态、动作、即时奖励、下一状态）中在线更新权重 $\mathbf{w}$，五步一循环：

1. 拿到一段经验 $(s, a, r, s')$；
2. 模型预测：$V(s; \mathbf{w})$；
3. 构造自举目标（bootstrap target）：$r + \gamma\, V(s'; \mathbf{w})$；
4. 平方损失：$$\mathcal{L}(\mathbf{w}) = \Big(V(s; \mathbf{w}) - \big(r + \gamma\, V(s'; \mathbf{w})\big)\Big)^2$$
5. 梯度步：$\mathbf{w} \leftarrow \mathbf{w} - \alpha\, \nabla_{\mathbf{w}} \mathcal{L}(\mathbf{w})$，其中 $\alpha$ 是学习率。

直觉：让「当前状态的预测」向「即时奖励 + 下一状态的（估计）价值」靠拢。目标里用到了 $V$ 自己（$V(s')$），这就是自举——用一个估计去改进另一个估计，与 L7 策略评估、L8 SARSA 一脉相承。两者的差 $$\delta = r + \gamma\, V(s'; \mathbf{w}) - V(s; \mathbf{w})$$ 称为 TD 误差（TD error）：$\delta > 0$ 说明实际比预期好（上调 $V(s)$），$\delta < 0$ 说明比预期差（下调）。

对比 L8 的无模型算法家族，TD 学习填上了「估计 V」这一格：

算法	估计对象	自举目标	读策略是否需模型
SARSA	$Q_\pi$	$r + \gamma\, Q(s', a')$	否
Q-Learning	$Q^*$	$r + \gamma \max_{a'} Q(s', a')$	否
TD 学习	$V_\pi$	$r + \gamma\, V(s')$	是

2.3 源码：TDLearning 类

以下是 td_learning.py 中的真实实现（加了中文注释）。注意它复用了 L8 的 RLAlgorithm 接口（get_action + incorporate_feedback）。这里为了在小 MDP 上演示，V 用的是 defaultdict（表格版）；把它换成 $V(s;\mathbf{w})$ 就是函数逼近版。

class TDLearning(RLAlgorithm):
    """实现 TD 学习算法。"""
    def __init__(self, mdp: MDP, exploration_policy: Policy,
                 epsilon: float, discount: float, learning_rate: float):
        self.mdp = mdp                              # 需要 MDP 来读出策略！
        self.exploration_policy = exploration_policy
        self.epsilon = epsilon                      # ε-贪婪探索
        self.discount = discount                    # 折扣 γ
        self.learning_rate = learning_rate          # 学习率 α
        self.V = defaultdict(float)                 # 状态价值 V_π(s)

    def get_action(self, state: Any) -> Any:
        """用 MDP 从 V_π(s) 计算 Q_π(s, a)，再 ε-贪婪选动作。"""
        if np.random.random() < self.epsilon:
            return self.exploration_policy(state)   # 探索
        else:
            return self.pi(state)                   # 利用

    def pi(self, state: Any) -> Any:
        """返回当前 V_π(s) 对应的策略：argmax_a V(Succ(s,a))。"""
        # 为每个动作计算 Q 值（唯一用到 MDP 知识的地方）
        q_values = {}  # action -> Q 值
        for action, successors in get_action_successors(self.mdp, state).items():
            q_values[action] = sum(
                succ.prob * (succ.reward + self.discount * self.V[succ.state])
                for succ in successors
            )
        # 选 Q 值最大的动作
        return max(q_values.keys(), key=lambda action: q_values[action])

    def incorporate_feedback(self, state: Any, action: Any, reward: Any,
                             next_state: Any, is_end: bool) -> None:
        """根据经验 (s, a, r, s') 更新 V_π(s)。"""
        predicted = self.V[state]                                # 预测
        target = reward + self.discount * self.V[next_state]     # 自举目标
        self.V[state] += self.learning_rate * (target - predicted)  # 梯度步

2.4 在 flaky tram 上跑一遍

沿用 Lecture 7 · 马尔可夫决策过程 的不可靠电车 MDP（FlakyTramMDP：走路确定 +1 站、坐电车翻倍但有概率故障）喂一条轨迹，观察 V 被逐条经验推着更新：

mdp = FlakyTramMDP(num_locs=6, failure_prob=0.1)
policy = partial(walk_tram_policy, 6)
# 注意：TDLearning 需要 mdp 来计算策略（做 policy improvement）
rl = TDLearning(mdp=mdp, exploration_policy=policy,
                epsilon=0.2, discount=1, learning_rate=0.1)

rl.get_action(state=1)
rl.incorporate_feedback(state=1, action="walk", reward=-1, next_state=2, is_end=False)
rl.get_action(state=2)
rl.incorporate_feedback(state=2, action="walk", reward=-1, next_state=3, is_end=False)
rl.get_action(state=3)
rl.incorporate_feedback(state=3, action="tram", reward=-2, next_state=6, is_end=True)

每条 incorporate_feedback 都把 $V(s)$ 朝 $r + \gamma V(s')$ 挪一小步（步长 $\alpha=0.1$）。跑足够多轨迹后，$V$ 收敛到当前探索策略的 $V_\pi$。

小结（TD 学习）：从经验 $(s, a, r, s')$ 估计 $V_\pi(s)$；on-policy（只沿当前策略实际走出的转移学习）；用自举（目标含 $V(s')$）；读出策略时需要模型（博弈中天然满足）。

---

3. 把 TD 学习用到博弈上

3.1 从任意 MDP 到博弈

TD 学习对任意 MDP 都成立。适配到两人零和博弈只需注意三点：$\mathrm{Succ}(s, a)$ 确定性地刻画状态转移（落子即定）；游戏中途没有奖励，只有终局才有效用（赢 $+1$ / 输 $-1$，且通常 $\gamma = 1$）——所以价值信号要靠 TD 更新从终局一步步”倒灌”回中盘与开局；有两个玩家（agent 与 opponent），需要说明对手从哪来——这就是自我对弈。

3.2 自我对弈（self-play）

关键技巧：双方共用同一个价值函数 $V_\pi(s)$，但取向相反——agent 挑价值最大的后继，对手挑价值最小的后继：

$$\pi_{\text{agent}}(s) = \arg\max_a V_\pi\big(\mathrm{Succ}(s, a)\big),\qquad \pi_{\text{opp}}(s) = \arg\min_a V_\pi\big(\mathrm{Succ}(s, a)\big)$$

零和博弈里这不浪费——一个 $V$（站在 agent 视角）同时刻画了双方的利害，对手的”最好”就是它的”最小”。

flowchart LR
    V["共享价值函数<br/>V(s; w)"] --> AG["π_agent = argmax<br/>Succ(s,a)"]
    V --> OP["π_opp = argmin<br/>Succ(s,a)"]
    AG -->|"对弈产生经验"| EXP["(s, a, r, s')"]
    OP -->|"对弈产生经验"| EXP
    EXP -->|"TD 更新 w"| V

    style V fill:#ffe0b2,stroke:#e65100
    style AG fill:#c8e6c9,stroke:#2e7d32
    style OP fill:#ffcdd2,stroke:#c62828
    style EXP fill:#e1f5fe,stroke:#0277bd

3.3 例子：西洋双陆棋（Backgammon）

双陆棋是带随机性（掷骰子）的双人博弈。rollout 时策略与骰子交替出场：

$$\pi_{\text{dice}} \to \pi_{\text{agent}} \to \pi_{\text{dice}} \to \pi_{\text{opp}} \to \pi_{\text{dice}} \to \pi_{\text{agent}} \to \cdots$$

我们要学的是 $\pi_{\text{agent}}$ 和 $\pi_{\text{opp}}$（同一个 $V$ 的两副面孔），而 $\pi_{\text{dice}}$（骰子）是固定的随机环境，不用学。这正是上一讲 expectiminimax 场景（Lecture 10 · 博弈 I：Minimax 与 α-β 剪枝 §2.4）的学习版。

参数化价值函数：先为每个局面定义特征向量 $\phi(s)$（如各点位上双方棋子的数量），再定义

$$\text{线性：}\; V(s; \mathbf{w}) = \phi(s) \cdot \mathbf{w}\qquad\text{或 MLP：}\; V(s; \mathbf{w}) = \mathrm{MLP}_{\mathbf{w}}\big(\phi(s)\big)$$

然后直接套用 §2 的 TD 学习即可——算法一行不用改。

---

4. 历史里程碑

TD 学习 + 自我对弈是 AI 博弈史上最漂亮的一条线。从 Samuel 到 AlphaGo Zero 的趋势非常清晰：人手工注入的领域知识越来越少（特征越来越「笨」，从精心设计的棋理特征退化到几乎原始的棋盘编码），而自我对弈 + 神经网络承担的比重越来越大。

系统	特征	评估函数	中途奖励	训练
Samuel 跳棋 (1959)	精心设计的特征	线性	有	自我对弈 + α-β 剪枝，达业余水平（IBM 701，约 9K 内存）
TD-Gammon (1992)	「笨」特征（近乎原始棋盘编码）	神经网络	无	自我对弈约 100 万局，达人类专家水平
AlphaGo Zero (2017)	「笨」特征（棋子位置）	深度网络	无	自我对弈约 490 万局 + MCTS，击败 AlphaGo（后者 2016 年胜李世石）

---

第二部分 · 同时博弈

5. 从回合制到同时出手

上一讲的博弈都是回合制（turn-based）：一方走完另一方再走，所以可以画出游戏树、逐层交替取 $\max$ / $\min$。

现在换成同时博弈（simultaneous games）：两名玩家同一时刻出手，谁也看不到对方这一步。例子：石头剪刀布、two-finger Morra（两指莫拉）。

灵魂拷问（课上 Poll）：如果你公开自己的策略，还能打得同样好吗？直觉说不行——石头剪刀布里固定出石头（纯策略）一旦被知道，对手立刻用布克制。但本部分的高潮（§8.4）会证明：只要允许混合策略，公开你的最优策略一点也不吃亏。

本部分结构：先零和（§6–§8），再非零和（§9）。

---

6. 单步同时博弈：定义

以 two-finger Morra 为例：两名玩家 A、B 同时伸出 1 根或 2 根手指。

Morra 的收益矩阵（行是 A 的动作，列是 B 的动作，数值是 A 的收益）：

A ＼ B	B 出 1	B 出 2
A 出 1	+2	−3
A 出 2	−3	+4

actions = [1, 2]
V = {
    1: {1: 2, 2: -3},
    2: {1: -3, 2: 4},
}

直觉：A 想和 B 出一样多的手指（对角线为正），且偏爱凑成总和 4（右下的 +4 最大）；B 则相反，想让手指数错开（反对角线上 A 拿 −3，即 B 拿 +3）。

---

7. 纯策略 vs 混合策略

Morra 里的几个策略：

always_one = {1: 1.0}          # π = [1, 0]      总出 1
always_two = {2: 1.0}          # π = [0, 1]      总出 2
uniform    = {1: 0.5, 2: 0.5}  # π = [0.5, 0.5]  五五开

博弈评估（game evaluation）：给定双方（混合）策略，A 的期望收益是

$$V(\pi_A, \pi_B) = \sum_a \sum_b \pi_A(a)\, \pi_B(b)\, V(a, b)$$

即对所有动作组合 $(a,b)$，按两人独立随机选中它的概率 $\pi_A(a)\pi_B(b)$ 加权求和。源码里就是一个双重循环：

def evaluate_game(V, policy_a, policy_b):
    """计算博弈的期望效用。"""
    value = 0
    for a, prob_a in policy_a.items():
        for b, prob_b in policy_b.items():
            value += prob_a * prob_b * V[a][b]
    return value

---

8. minimax 定理

8.1 同时最优的困境与「先走者劣势」

博弈值 $V(\pi_A, \pi_B)$：A 想最大化、B 想最小化，而且要同时决定——像十字路口两车对峙，互相等对方先动，谁也不敢先动（deadlock）。

破局思路：既然”同时”难分析，干脆让一方先亮出策略、另一方看到后再应对，把问题变回有先后的序贯决策；然后比较”A 先亮”与”B 先亮”两种次序的结果。

先看纯策略：若 A 被迫先亮出纯策略，B 看到后必能针对性克制——Morra 里 A 亮 always_one，B 出 2，A 拿 $-3$；A 亮 always_two，B 出 1，A 还是拿 $-3$。结论：

8.2 引入混合策略：后走者的最优应对

现在让 A 先亮出一个混合策略，比如 $\pi_A = [0.5, 0.5]$，看 B 如何最优应对。把博弈值按 B 的两个纯动作展开：

$$V(\pi_A, \pi_B) = \pi_B(1)\underbrace{\big[0.5(2) + 0.5(-3)\big]}_{-0.5} + \pi_B(2)\underbrace{\big[0.5(-3) + 0.5(4)\big]}_{+0.5} = -0.5\,\pi_B(1) + 0.5\,\pi_B(2)$$

B 想最小化 → 把全部概率压到系数更小的动作上：$\pi_B(1) = 1$，A 拿 $-0.5$。注意这已经比亮纯策略的 $-3$ 好多了——随机化本身就在保护你。

一般地，设 A 先亮 $\pi_A = [p,\, 1-p]$，B 分别用两个纯动作应对时 A 的收益是：

$$\text{B 出 1}:\; 2p - 3(1-p) = 5p - 3,\qquad \text{B 出 2}:\; -3p + 4(1-p) = 4 - 7p$$

B 取两者的最小值（下包络），A 再对 $p$ 取最大（下包络的最高点）——这就是「A 先走」的 $\max\min$ 值。反过来让 B 先亮 $\pi_B$，同理得「B 先走」的 $\min\max$ 值。

8.3 minimax 定理：先后手价值相等

神奇之处：让 A 先亮和让 B 先亮，算出来的博弈值相等！

graph LR
    subgraph 纯策略
    P1["先走者暴露<br/>→ 劣势"]
    end
    subgraph 混合策略
    M1["max min = min max<br/>先后手等价"]
    end
    P1 -->|"允许随机化"| M1

    style P1 fill:#ffcdd2,stroke:#c62828
    style M1 fill:#c8e6c9,stroke:#2e7d32

V = { 1: {1: 2, 2: -3},
      2: {1: -3, 2: 4} }
pi_opt = {1: 7/12, 2: 5/12}                  # A、B 的最优混合策略相同
value  = evaluate_game(V, pi_opt, pi_opt)    # = -1/12 ≈ -0.083

8.4 Upshot：公开最优混合策略也不吃亏

这正好回答了 §5 的 Poll：因为 $\max\min = \min\max$，即使对手事先知道你的最优混合策略，他能做到的最好也只是把你压到博弈值——不能更多。需要保密的只是每一局具体抽到的动作（随机性本身），而不是生成动作的分布。

---

9. 非零和博弈与纳什均衡

9.1 从零和到非零和

• 零和：$U_A + U_B = 0$，一方所得即另一方所失，纯粹竞争；
• 非零和（non-zero-sum）：双方效用任意，可能双赢也可能双输。

效用关系构成一个谱系：一端是纯竞争（零和，用 minimax / 线性规划求解），另一端是纯合作（双方效用完全相同，退化成普通的联合最大化/搜索），现实生活大多介于两者之间。

非零和时每个玩家各有一张收益矩阵：记 $V_p(\pi_A, \pi_B)$ 为策略对下玩家 $p \in \{A, B\}$ 的期望效用（零和时只需一张，因为 $V_B = -V_A$）。

9.2 囚徒困境

经典的囚徒困境（prisoner’s dilemma）：两名嫌犯分开审讯，可选沉默或招供；效用 $=-$（服刑年数）。

A ＼ B	B 沉默	B 招供
A 沉默	(−1, −1)	(−15, 0)
A 招供	(0, −15)	(−10, −10)

（每格为 (A 的效用, B 的效用)；数值为示意，结构才是重点。）

困境：对每个人来说，无论对方怎么选，招供都严格更优——对方沉默时招供把 $-1$ 变 $0$，对方招供时招供把 $-15$ 变 $-10$。招供是严格优势策略（strictly dominant strategy） → 双方都招供，各判 10 年。但若两人都能沉默，本可只判 1 年——个体理性导致集体次优。问题出在两人无法缔结可信承诺：即使约好都沉默，各自仍有偏离的动机。

9.3 纳什均衡

零和世界的 von Neumann minimax 定理不再适用（它的证明本质依赖”你的所得就是我的所失”这一 LP 对偶结构）。退一步，我们得到一个更弱但更普适的解概念：

几个例子：

博弈	纳什均衡
竞争 Morra（零和）	双方 $[\tfrac{7}{12}, \tfrac{5}{12}]$（同时也是 minimax 策略）
合作 Morra（双方效用相同）	双方同出 1，或双方同出 2（两个均衡）
囚徒困境	双方都招供（唯一均衡，但非社会最优）

9.4 零和 vs 非零和：一张对照

graph TD
    A["同时博弈"] --> B["零和"]
    A --> C["非零和"]
    B --> B1["von Neumann<br/>minimax 定理"]
    B --> B2["多个 minimax 策略<br/>单一博弈值"]
    C --> C1["Nash<br/>存在性定理"]
    C --> C2["多个纳什均衡<br/>多个博弈值"]

    style B fill:#e1f5fe,stroke:#0277bd
    style C fill:#f3e5f5,stroke:#7b1fa2
    style B1 fill:#c8e6c9,stroke:#2e7d32
    style C1 fill:#ffe0b2,stroke:#e65100

维度	零和同时博弈	非零和同时博弈
核心定理	von Neumann minimax (1928)	Nash 存在性 (1950)
解的性质	最优性（对最坏对手的保证）	稳定性（无单方偏离动机）
博弈值	唯一	可能多个（不同均衡不同值）

---

10. 总结

mindmap
  root((博弈 II))
    TD 学习
      学评估函数而非手写
      类比 SARSA·估 V 而非 Q
      从 V 读策略需要模型
      用 RL 因状态数指数级
      自举·平方损失·梯度步
      自我对弈 self-play
      TD-Gammon 与 AlphaGo
    同时博弈
      游戏树失效
      收益矩阵
      纯策略 vs 混合策略
      minimax 定理
        max min 等于 min max
        公开最优混合策略不吃亏
        Morra 最优 7比5 分 值负十二分之一
      非零和
        纳什均衡存在但不唯一
        囚徒困境

关键要点：

• 学评估函数：博弈的评估函数不必手工写，可以用 TD 学习从经验中学 $V_\pi(s)$——$\text{TD 学习} : V_\pi :: \text{SARSA} : Q_\pi$；更新为 $V(s) \leftarrow V(s) + \alpha\,\big[r + \gamma V(s') - V(s)\big]$。
• 从 V 读策略：博弈里转移确定，$\pi_{\text{new}}(s) = \arg\max_a V_\pi(\mathrm{Succ}(s, a))$；这一步需要知道 MDP，而博弈规则恰好完全已知。
• 为何用 RL：不是因为 MDP 未知（L8 的动机），而是因为状态数指数级，必须用函数逼近（价值网络）+ 采样经验。
• 自我对弈：双方共用一个 $V$，一方 $\arg\max$ 一方 $\arg\min$；对弈产经验、经验更新 $V$、更强的 $V$ 产生更强的对弈——TD-Gammon、AlphaGo Zero 的共同引擎，历史趋势是手工知识越来越少。
• 同时博弈：游戏树失效；纯策略下先走者劣势，但引入混合策略后 minimax 定理保证 $\max\min = \min\max$，先后手等价，公开最优混合策略也不吃亏——Morra 最优 $[\tfrac{7}{12}, \tfrac{5}{12}]$，博弈值 $-\tfrac{1}{12}$（偏向 B）。
• 纳什均衡：非零和博弈的解概念从”最优”退为”稳定“；Nash (1950) 保证有限博弈至少一个均衡，但不唯一、非社会最优（囚徒困境）。

下一讲预告：至此走完了「状态型模型」（搜索 → Lecture 7 · 马尔可夫决策过程 → 博弈）。接下来转向变量型模型——如何用图刻画随机变量之间的依赖并做概率推断？→ Lecture 12 · 贝叶斯网络 I：建模与推断。

---

复习自测

---

参考资料

• 💻 td_learning.py — TD 学习与自我对弈
• 💻 simultaneous_games.py — 同时博弈、minimax 定理、纳什均衡
• 📖 Sutton & Barto: Reinforcement Learning (2nd ed.) — 第 6 章：时序差分学习（TD Learning）
• 📄 Temporal Difference Learning and TD-Gammon (Tesauro, 1995) — 神经网络自我对弈的开山之作
• 📄 Some Studies in Machine Learning Using the Game of Checkers (Samuel, 1959) — 「机器学习」一词与自我对弈的起点
• 📄 Mastering the game of Go without human knowledge (AlphaGo Zero, Silver et al., 2017) — 纯自我对弈登顶
• 📄 Zur Theorie der Gesellschaftsspiele (von Neumann, 1928) — minimax 定理原始论文
• 📄 Equilibrium Points in N-Person Games (Nash, 1950) — 纳什均衡存在性定理
• 🌐 CS221 课程主页 — 课程讲义与作业