先前我们所涉及的所有算法,都是针对价值函数进行迭代,而策略方面往往仅局限于ϵ−贪婪算法,几乎不进行更新
我们先介绍基于策略的经典算法:REINFORCE,也就是策略梯度算法
1.REINFORCE#
我们严格定义一下该算法
首先,我们记轨迹为:
τ=(s0,a0,r0,s1,a1,r1,⋯)
记轨迹概率为,其中T是与环境可能交互的最大步数:
ρθ(τ)=ρ0(s0)∏t=0Tπθ(at∣st)P(st+1∣st,at)
环境转移概率,初始概率分布与策略无关,因此
∇θlogρθ(τ)=∑t=0T∇θlogπθ(at∣st)
优化目标为:
J(θ)=Eτ∼ρθ[R(τ)]=∑τR(τ)ρθ(τ)
故,
∇θJ(θ)====τ∑R(τ)∇θρθ(τ)(这是因为在τ确定的情况下,R(τ)与θ无关)τ∑R(τ)ρθ(τ)∇θlogρθ(τ)Eτ∼ρθ[R(τ)∇θlogρθ(τ)]Eτ∼ρθ[t=0∑TR(τ)∇θlogπθ(at∣st)]我们记录这里的R(τ)为ψt,故有:
∇θJ(θ)=Eτ∼ρθ[∑t=0Tψt(τ)∇θlogπθ(at∣st)]
我们不加证明的给出ψt的六种取值:
ψtψtψtψtψtψt=t′=0∑Tγt′rt′(1)=t′=t∑Tγt′−trt′(2)=t′=t∑Tγt′−trt′−b(st)(3)=Qπθ(st,at)(4)=Aπθ(st,at)(5)=rt+γVπθ(st+1)−Vπθ(st)(6)(1)的方差非常大,一条轨迹可以影响此轨迹所有节点的策略,而事实上at不可能影响已发生的奖励,会有非常大的噪声,需要采样大量数据才可以收敛
(2)依旧无偏差,方差比(1)要小很多
(3)加入了baseline,一般取Vπ(s),baseline的引入不增加偏差,故依旧无偏,一个好的baseline可以降低方差
(4)(5)(6)从(4)开始,摆脱了MC更新,减小了方差,可以一个时间步一更新而非一个采样序列一更新,但是同时,一般来说Q,A,V都未知,需要引入2.的critic来学习
(4)到(5)到(6),通常方差逐渐减小,但是偏差逐渐增大,对critic精确性的依赖逐步加深,其中(5)应用于大量经典算法(如PPO等)
2.ACTOR-CRITIC#
actor和critic分别为两个神经网络,其中:
- Actor 要做的是与环境交互,并在 Critic 价值函数的指导下用策略梯度学习一个更好的策略。
- Critic 要做的是通过 Actor 与环境交互收集的数据学习一个价值函数,这个价值函数会用于判断在当前状态什么动作是好的,什么动作不是好的,进而帮助 Actor 进行策略更新。
critic有很多种更新方式,如(3)中可以采用MC更新,(4)(5)(6)可以使用TD更新,TD(n)以及一些后续会提到的更新方式等