本书源于斯坦福大学的课程“不确定性状态下的决策”，主要介绍不确定状态下的决策算法，涵盖基本的数学问题和求解算法。本书主要关注规划和强化学习，其中一些技术涉及监督学习和优化。书中的算法是用Julia编程语言实现的，并配有大量图表、示例和练习题。 本书共分为五个部分：首先解决在单个时间点上简单决策的不确定性和目标的推理问题；然后介绍随机环境中的序列决策问题；接着讨论模型不确定性，包括基于模型的方法和无模型的方法；之后讨论状态不确定性，包括精确信念状态规划、离线信念状态规划、在线信念状态规划等；最后讨论多智能体系统，涉及多智能体推理和协作智能体等。

译者序
前言
致谢
第1章 导论
1.1 决策
1.2 应用
1.2.1 飞机防撞控制系统
1.2.2 自动驾驶控制系统
1.2.3 乳腺癌筛查
1.2.4 金融消费与投资组合配置
1.2.5 分布式森林火灾监控系统
1.2.6 火星科学探测
1.3 方法
1.3.1 显式编程
1.3.2 监督式学习
1.3.3 优化
1.3.4 规划
1.3.5 强化学习
1.4 自动化决策过程的历史
1.4.1 经济学
1.4.2 心理学
1.4.3 神经科学
1.4.4 计算机科学
1.4.5 工程
1.4.6 数学
1.4.7 运筹学
1.5 社会影响
1.6 本书组织结构
1.6.1 概率推理
1.6.2 序列问题
1.6.3 模型不确定性
1.6.4 状态不确定性
1.6.5 多智能体系统
第一部分 概率推理
第2章 表示
2.1 信念度和概率
2.2 概率分布
2.2.1 离散概率分布
2.2.2 连续概率分布
2.3 联合分布
2.3.1 离散联合分布
2.3.2 连续联合分配
2.4 条件分布
2.4.1 离散条件模型
2.4.2 条件高斯模型
2.4.3 线性高斯模型
2.4.4 条件线性高斯模型
2.4.5 sigmoid模型
2.4.6 确定性变量
2.5 贝叶斯网络
2.6 条件独立性
2.7 本章小结
2.8 练习题
第3章 推理
3.1 贝叶斯网络中的推理
3.2 朴素贝叶斯模型中的推理
3.3 “和积”变量消除
3.4 信念传播
3.5 计算复杂度
3.6 直接抽样
3.7 似然加权抽样
3.8 吉布斯抽样
3.9 高斯模型中的推理
3.10 本章小结
3.11 练习题
第4章 参数学习
4.1 最大似然参数学习
……
第二部分 序列问题
第三部分 模型不确定性
第四部分 状态不确定性
第五部分 多智能体系统
附录