贝尔曼方程

贝尔曼方程（Bellman Equation）是强化学习中最核心的数学工具之一，它描述了价值函数之间的递推关系。理解贝尔曼方程对于掌握所有强化学习算法都至关重要。

回报与价值

在介绍贝尔曼方程之前，先回顾一下回报和价值的概念。

回报（Return）

回报 $G_t$ 是从时刻 $t$ 开始的累积折扣奖励：

$G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}$

回报可以递归地表示为：

$G_t = R_{t+1} + \gamma G_{t+1}$

这个递归形式是贝尔曼方程的基础。它告诉我们：当前时刻的回报等于即时奖励加上折扣后的下一时刻回报。

价值函数回顾

状态价值函数 $V^\pi(s)$ 是回报的期望：

$V^\pi(s) = \mathbb{E}_\pi[G_t | S_t = s]$

动作价值函数 $Q^\pi(s,a)$ ：

$Q^\pi(s,a) = \mathbb{E}_\pi[G_t | S_t = s, A_t = a]$

贝尔曼期望方程

贝尔曼期望方程描述了给定策略下价值函数的递推关系。

状态价值的贝尔曼方程

状态价值可以分解为两部分：即时奖励和下一状态价值的期望。

$V^\pi(s) = \sum_a \pi(a|s) \sum_{s'} P(s'|s,a) [R(s,a,s') + \gamma V^\pi(s')]$

这个方程的含义是：

对于当前状态 $s$ ，考虑所有可能的动作 $a$
每个动作被选择的概率是 $\pi(a|s)$
执行动作 $a$ 后，以概率 $P(s'|s,a)$ 转移到状态 $s'$
获得即时奖励 $R(s,a,s')$ ，加上折扣后的下一状态价值 $\gamma V^\pi(s')$

def bellman_expectation_v(env, V, policy, state, gamma=0.99):
    value = 0
    for action in env.actions:
        action_prob = policy(action, state)
        for next_state in env.states:
            transition_prob = env.transition_prob(state, action, next_state)
            reward = env.reward(state, action, next_state)
            value += action_prob * transition_prob * (reward + gamma * V[next_state])
    return value

动作价值的贝尔曼方程

动作价值同样可以递归表示：

$Q^\pi(s,a) = \sum_{s'} P(s'|s,a) [R(s,a,s') + \gamma \sum_{a'} \pi(a'|s') Q^\pi(s',a')]$

或者用状态价值表示：

$Q^\pi(s,a) = \sum_{s'} P(s'|s,a) [R(s,a,s') + \gamma V^\pi(s')]$

def bellman_expectation_q(env, V, policy, state, action, gamma=0.99):
    value = 0
    for next_state in env.states:
        transition_prob = env.transition_prob(state, action, next_state)
        reward = env.reward(state, action, next_state)
        value += transition_prob * (reward + gamma * V[next_state])
    return value

V 与 Q 的关系

通过贝尔曼方程，我们可以清楚地看到 V 和 Q 的关系：

$V^\pi(s) = \sum_a \pi(a|s) Q^\pi(s,a)$

$Q^\pi(s,a) = \sum_{s'} P(s'|s,a) [R(s,a,s') + \gamma V^\pi(s')]$

贝尔曼最优方程

贝尔曼最优方程描述了最优价值函数的递推关系。

最优状态价值

最优状态价值 $V^*(s)$ 满足：

$V^*(s) = \max_a \sum_{s'} P(s'|s,a) [R(s,a,s') + \gamma V^*(s')]$

与贝尔曼期望方程不同，这里使用 $\max$ 而非对动作求期望。这意味着最优策略总是选择能带来最大价值的动作。

最优动作价值

最优动作价值 $Q^*(s,a)$ 满足：

$Q^*(s,a) = \sum_{s'} P(s'|s,a) [R(s,a,s') + \gamma \max_{a'} Q^*(s',a')]$

最优策略

最优策略可以通过最优动作价值函数直接得到：

$\pi^*(s) = \arg\max_a Q^*(s,a)$

对于确定性最优策略：

$\pi^*(s) = \arg\max_a \sum_{s'} P(s'|s,a) [R(s,a,s') + \gamma V^*(s')]$