强化学习入门（二）：on-policy与off-policy

一、名词解释即引入原因

1、名词解释：

翻译过来就是：
On-policy: 学习到的agent以及和环境进行互动的agent是同一个agent
Off-policy: 学习到的agent以及和环境进行互动的agent是不同的agent

直观理解就是：
On-policy：相当于你在打游戏，你在实战中变强。
Off-policy：相当于你在看直播，你在观摩中变强。

2、为何要引入 Off-policy：

为了避免不停地sample（这会很耗时间）

如果我们使用 ${\pi }_{\theta }$ 来收集数据，那么参数$\theta$ 被更新后，我们需要重新对训练数据进行采样，这样会造成巨大的时间消耗。

引入Off-policy后，可以利用