第四之后，有些遥远，暂时不详述了。

第三部分，论文阅读清单

这个论文列表非常详细，分为12个小类别，每个类别下有2-8篇论文。

团队说，列表比全面还全面，足够给一个想做RL研究的人类铺路了。

https://spinningup.openai.com/en/latest/spinningup/keypapers.html

第四部分，为初学者定制的代码

GitHub上面有个叫spinningup的项目，包含了强化学习能用到的各种关键算法：

VPG、TRPO、PPO、DDPG、TD3和SAC等。

团队说，这里的代码都是为初学者定制，很短很好学。比起模块化，Spinning Up以清晰为重，代码都注释过了，可以很清楚得看出每一步都在做什么，并且有背景材料可以辅助理解。

目标就是用最简约的实现，来演示一条理论是如何变成代码的，而抽象层和混淆层(Layers of Abstraction and Obfuscation) 这些东西，都省去了。

https://github.com/openai/spinningup

第五部分，热身练习

这里有两个习题集。

一是关于实现的基础，二是关于算法失效模式。

后面还有附加题，是要从零开始自己写代码实现，相对艰辛。

https://spinningup.openai.com/en/latest/spinningup/exercises.html

Hello World

团队说，要感受强化学习是怎样运作的，最好的方式是跑一跑。

在Spinning Up里面，就很容易，只要用这段代码：

1python -m spinup.run ppo --env CartPole-v1 --exp_name hello_world

训练结束的时候，你会看到说明，然后可以按照里面讲的方法来观察数据，也观察训练好的智能体的视频。

另外，Spinning Up里面的实现，和一系列Gym环境都兼容：Classic Control，Box2D，MUJOCO等等。

去吧，皮卡丘

看上去，好像真的没有很难。

OpenAI就是希望其他领域的研究人员，也能很轻易地用强化学习来辅助研究。

所以，试一下吧。

教程入口：

https://spinningup.openai.com/en/latest/index.html

GitHub传送门：

https://github.com/openai/spinningup

“