强化学习是机器学习的一个基本范示，其中智能体执行动作以确保设备的最优性能。虽然这种机器学习范式近年来取得了巨大的成功和普及，但以前的学术研究要么集中在理论上（最优控制和动态规划），要么集中在算法上，其中大多数是基于仿真的。 《基于模型的强化学习》提供了一个基于模型的框架来桥接这两个方面，从而创建了一个基于模型的在线学习控制主题的整体处理。在此过程中，作者寻求开发一个基于模型的数据驱动控制框架，该框架将数据系统识别、基于模型的强化学习和最优控制以及每个主题的应用连接起来。这种评估经典结果的新技术将会是更有效的强化学习系统。本书的核心是提供一个端到端的框架——从设计到应用——一种更易于处理的基于模型的强化学习技术。

前言
1 非线性系统分析
1.1 符号
1.2 非线性动态系统
1.3 Lyapunov稳定性分析
1.4 离散时间动态系统的稳定性分析
1.5 总结
参考文献
2 优化控制
2.1 问题描述
2.2 动态规划
2.3 线性二次型调节器
2.4 总结
参考文献
3 强化学习
3.1 具有二次成本的控制仿射系统
3.2 精确策略迭代
3.3 未知动力学和函数逼近的策略迭代
3.4 总结
参考文献
4 动态模型的学习
4.1 简介
4.2 模型选择
4.3 参数模型
4.4 参数化学习算法
4.5 持续激励
4.6 Python工具箱
4.7 对比结果
4.8 总结
参考文献
5 基于结构化在线学习的连续时间非线性系统控制
5.1 简介
5.2 结构化近似最优控制框架
5.3 局部稳定性与最优性分析
5.4 SOL算法
5.5 仿真结果
5.6 小结
参考文献
6 结构化在线学习方法在未知动态非线性跟踪中的应用
6.1 简介
6.2 跟踪控制的结构化在线学习
6.3 使用SOL的基于学习的跟踪控制
6.4 仿真结果
6.5 总结
参考文献
7 分段学习与控制及其稳定性保证
7.1 简介
7.2 问题公式化描述
7.3 分段学习与控制框架
7.4 不确定性边界分析
7.5 分段仿射学习与控制的稳定性验证
7.6 数值结果
7.7 总结
参考文献
8 太阳能光伏系统应用
8.1 简介
8.2 问题描述
8.3 光伏阵列的最优控制
8.4 应用注意事项
8.5 仿真结果
8.6 总结
参考文献
9 四旋翼无人机低级控制应用
9.1 简介
9.2 四旋翼无人机模型
9.3 基于RLS识别器的四旋翼无人机结构化在线学习
9.4 数值结果
9.5 总结
参考文献
10 Python工具箱
10.1 概述
10.2 用户输入
10.3 SOL
10.4 显示与输出
10.5 总结
参考文献
附录
A.1 注释5.4的补充分析
A.2 注释5.5的补充分析