5.2 公式笔误

[Guodric]

章节5.2的时序差分增量更新的推导：
$V_\pi(s) = E[G_t|S_t=s]=...=E[R_t+\gamma V_\pi(S_{t+1} ) |S_t]$
最后一行这里应该不是期望，直接就是 $R_t+\gamma V_\pi(S_{t+1} )$ 吧？

[guaiwu012]

因为从S到S_{t+1}有一个概率分布，所以应该是期望吧

[hype1type]

R t + γ V π ( S t + 1 ) 是Gt 阿