作者：趙世鈺

這門課程從零開始、從數(shù)學(xué)角度、結(jié)合大量例子、循序漸進地揭示強化學(xué)習的本質(zhì)原理。

如果你學(xué)習的時候喜歡刨根問底、追求“知其然并知其所以然”，

相信這個課程能很好地幫助你透徹理解強化學(xué)習！

經(jīng)過漫長的準備過程，【強化學(xué)習的數(shù)學(xué)原理】這個課程的視頻+書籍+PPT終于都上線了！下面是鏈接：

1. 課程視頻合集（B站）

2. 書籍PDF和PPT下載網(wǎng)址（GitHub）：https://github.com/MathFoundationRL/Book-Mathmatical-Foundation-of-Reinforcement-Learning

3. 書籍《強化學(xué)習的數(shù)學(xué)原理》介紹（知乎）：https://zhuanlan.zhihu.com/p/552853273

開發(fā)這個課程的初衷：??

1）從我2019年第一次在西湖大學(xué)講授強化學(xué)習的課程，到現(xiàn)在已經(jīng)是第四次了。在這個過程中，得到了大量的反饋、積累了許多的經(jīng)驗，最終形成了現(xiàn)在的內(nèi)容和書籍。

2）強化學(xué)習入門難嗎？即使你有機器學(xué)習或者深度學(xué)習的基礎(chǔ)，即使你有自動控制理論的基礎(chǔ)，想要入門強化學(xué)習并非易事！

3）雖然現(xiàn)在關(guān)于強化學(xué)習的資料有很多，我個人感覺現(xiàn)有的書籍要么傾向于直觀解釋和文字描述（例如Sutton和Barto的書），要么數(shù)學(xué)和專業(yè)性過強（例如Bertsekas的書）。

4）我開發(fā)這門課的目的：一方面，從數(shù)學(xué)的角度去介紹強化學(xué)習，讓讀者“知其然也知其所以然；另一方面，對零基礎(chǔ)初學(xué)者友好，從最基本的概念開始、生動易懂、循序漸進。

這個課程適合你嗎？

這個課程融入了我很多的心思，和很多其它中英文課程有較大不同。你可以看看這門課是否適合你。

1）這門課不要求讀者有任何強化學(xué)習的背景知識。因為它會從最基本的概念開始介紹，配上豐富的例子，相信它能在讓你“快速”入門的同時也能明了許多概念算法的原理。如果讀者已經(jīng)有了一定的強化學(xué)習背景，相信它也能給你帶來新的理解。

2）這門課從數(shù)學(xué)角度介紹強化學(xué)習，從而幫助讀者“知其然更知其所以然”。強化學(xué)習的數(shù)學(xué)性較強。如果不講數(shù)學(xué)，很多時候看似懂了但經(jīng)不起推敲。相反，如果從數(shù)學(xué)角度開始學(xué)習，看似是笨辦法，實則是高效透徹理解強化學(xué)習的必經(jīng)之路。我也相信許多讀者也有過這樣的體會：千言萬語的文字描述有時候比不上一個數(shù)學(xué)公式能讓人理解深刻。

3）本書更多關(guān)注“原理”而不是“編程”，幫助大家透徹理解概念和算法的原理。如果大家對編程實現(xiàn)感興趣，可以參考很多已有的精彩的學(xué)習資料，這里就不再重復(fù)造輪子了。

課程內(nèi)容概覽：

強化學(xué)習的系統(tǒng)性也很強，許多概念一環(huán)扣一環(huán)。要想深入的理解強化學(xué)習，要從最基礎(chǔ)的概念出發(fā)，一點一滴的學(xué)習。

下圖是整個課程的“地圖”，也是我的書中的一幅插圖，展示了各個部分及其之間的關(guān)系。

寫在最后：

在準備這些材料的過程中，真正體會到了什么是嘔心瀝血。

從這本書里的每一句話、每一個圖、每一個公式，到課程視頻的剪輯、字幕的制作、再到PPT的制作、甚至設(shè)計護眼背景色等等細節(jié)，力求讓同學(xué)們能有最好的學(xué)習體驗。在這個過程中要感謝我的許多學(xué)生的給力幫助。

希望這門課程能夠真正的幫助大家跨過強化學(xué)習的門檻，進入到這個有趣而生機勃勃的領(lǐng)域！

附：本課程相關(guān)資料匯總

• 課程視頻網(wǎng)址（B站）

• 書籍PDF和PPT下載網(wǎng)址（GitHub）：https://github.com/MathFoundationRL/Book-Mathmatical-Foundation-of-Reinforcement-Learning

• 書籍的介紹（知乎）：https://zhuanlan.zhihu.com/p/552853273

• 課程的介紹（知乎）：https://zhuanlan.zhihu.com/p/567743051?

• 趙世鈺老師簡介：https://shiyuzhao.westlake.edu.cn/