人工智能
技术书籍
强化学习 (Reinforcement Learning)
深度学习（书籍）
科技热点

2022年了，深度学习和强化学习分别有什么高质量的书籍专著?

感觉Ian的《Deep Learning》和sutton的《Reinforcement Learning》都有点儿“久远”了,最近两年有没有关于深度学…
关注者
450
被浏览
293,047

28 个回答

CS285是伯克利（UC Berkeley）的 Sergey Levine 老师开设的一门关于深度强化学习的课程，也是一门不可多得的入门强化学习的课程。Sergey Levine从2015年开设这门课至今有6年了，除了2016年的课程没有公开。其他都可以在课程主页找到链接：

这门课大家的评价很高，知乎的评价如下：

但要学好CS285这门课，还是有一定难度。本人学完了David强化学习十讲，Richard Sutton的书（David讲到的部分）也看了一遍，在这个基础上学习这门课，感觉还是有点吃力。可见这门课程的入门不是那么容易。

David课程Introduction to Reinforcement Learning链接如下：

Richard Sutton的《Reinforcement Learning: An Introduction》PDF链接如下：

PS：David是sutton 的弟子

这门课程 学习有难度的原因， 个人觉得主要如下：

（1）首先 ，CS285这门课程本身有一定难度，需要有深度学习和强化学习的基础。

（2）其次 ，跟视频资料有关，视频 只有PPT和语音 。Sergey Levine在讲课过程中，讲到具体的某个点上，没有在PPT上体现出来，比如鼠标的指示，这也增加了理解的难度。即使是2020,22021这两年的线上课程也是如此，不知道这两年的视频是处理过，还是原来就这样，这对视频课程理解增加了一定的难度。

（3）再次 ，跟Sergey Levine讲课风格有关，本人上过外国公开课也有十来门了，第一次碰到Sergey Levine这种上课的口语风格：讲课过程中充满了定语从句，并列句；动不动就是长难句，有些句子可能达到了GRE长难句的难度了。而且他的语速特别快，应该在180words/min以上。

综上，这门课学习的难度不小，但这是一门难得的好课程。所以还是想要啃下来。因此，有了本学习笔记。本学习笔记主要是根据Sergey Levine视频中讲的内容和PPT整理而成。最初想以中文的形式呈现的，但翻译实在是太耗时了，尝试翻译一节课，花了5天没有翻译完，而且有些地方达不到表达的效果。另外，本门课程的中文学习笔记网上汗牛充栋，所以还是以英文方式呈现。其实，主要是偷懒。

本笔记是 2019fall的cs285课程笔记 ，2020,2021是线上课程，感觉没有19年讲得流畅和有激情，本人听了部分感觉内容以差不多。


#########本人水平有限，希望大家一起不断校正和完善本课程笔记。##########

附：本笔记的格式说明：

PPT页面1 截图1

截图1 讲解的文字描述，及ppt 页面1的部分截图 混合组成


PPT页面2截图2

截图2 讲解的文字描述，及ppt页面2的部分截图混合组成


PPT页面3截图3

..................

近几年的，推荐两本，都是开源的：

深度学习：《动手学深度学习》Aston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smola.

电子版见： github.com/d2l-ai/d2l-z

没有那种翻译体的大段看不懂长句，讲得很清楚，重点是有代码实现。by the way, 李沐老师也会在B站上过经典论文


强化学习：《深度强化学习》 王树森, 张志华.

电子版见： Prof. Zhihua ZHANG

强化学习我看过sutton的《强化学习》，《深入浅出强化学习》，相比之下，我觉得王老师和张老师的《深度强化学习》 这本是最适合入门的，看着过程很流畅，语言简洁、但十分能切中要点，强烈安利

2022年强化学习/深度强化学习方面的书籍：

  1. Aske Plaat, Deep Reinforcement Learning, a textbook, arxiv.org/abs/2201.0213 , 2022. (2022新出的关于深度强化学习的书，含meta learning)
  2. Alekh Agarwal, Nan Jiang, Sham M. Kakade, Wen Sun. Reinforcement Learning: Theory and Algorithms, rltheorybook.github.io/ , 2022. (含offline RL，内容还不完整)
  3. Hao Dong, Zihan Ding, Shanghang Zhang, et al., Deep Reinforcement Learning: Fundamentals, Research, and Applications, Springer Nature, http://www.deepreinforcementlearningbook.org , 2021. link.springer.com/conte (汇总性强，像是期末总结笔记)，中文版：深度强化学习：基础、研究与应用 (博文视点出品) deepreinforcementlearningbook.org , 2022.
  4. Qi Wang, Yiyuan Yang, Ji Jiang, Easy RL 强化学习中文教程, 2022. github.com/datawhalechi (相当于李宏毅课程《强化学习》笔记，大白话，通俗易懂)

更多有关强化学习的资料，请看：

强化学习基础介绍，请看：