马尔可夫决策过程是研究随机环境下多阶段决策过程优化问题的理论工具，在过去的几十年中，随着生态科学、经济理论、通讯工程以及众多学科中需要考虑不确定因素和序列决策问题的大量新模型的涌现，进一步刺激了马尔可夫决策过程在理论上和应用领域中长足发展。本书从简单的例子开始，介绍了马尔可夫决策过程的基本概念、决策过程以及一些常用的基本理论。还介绍了多种最优准则，包括有限阶段准则、折扣准则、平均准则、权重报酬准则、概率准则等。从模型角度考虑了有限状态空间、可数状态空间和一般Borel状态空间；从决策时间上来说，考虑了离散时间、连续时间和半马氏决策时刻问题。本文还介绍了大量的应用实例以及建模方法。本书可作为高年级大学和研究生教材，也可作为运筹学、管理科学、信息科学、系统科学以及计算机科学和工程领域的学者和技术人员的参考书。

序言
一些常用的符号和缩
第1章 引论
1.1 序列决策模型
1.2 马氏决策过程的例子
1.3 马氏决策过程的定义与记号
1.4 马氏决策过程的起源和发展
第2章 有限阶段模型
2.1 最优准则
2.2 有限阶段的策略迭代和最优方程
2.3 最优策略的存在性和算法
2.4 两个例子
2.5 单调策略的最优性
第3章 无限阶段折扣模型
3.1 最优准则
3.2 最优方程
3.3 最优策略的存在性
3.4 策略迭代算法
3.5 值迭代算法
3.6 改进的策略迭代算法
3.7 线性规划算法
3.8 可数状态与行动的模型
3.9 最优单调策略
3.10 最优策略的结构
第4章 无限阶段平均模型
4.1 最优准则
4.2 最优平稳策略的存在性
4.3 平稳策略的一些特征
4.4 最优方程与策略迭代算法
4.5 单链时的情形
4.6 多链时的情形
第5章 权重准则模型与概率准则模型
5.1 折扣权重模型
5.2 折扣与平均权重模型
5.3 MDP的百分比与目标水平
5.4 风险概率准则模型
第6章 连续时间与半马氏模型
6.1 连续时间折扣MDP
6.2 连续时间平均MDP
6.3 折扣半马氏模型
6.4 平均半马氏模型
6.5 服务率受控的一个排队模型
第7章 空集装箱调配问题
7.1 单港口的问题与建模
7.2 无限阶段折扣准则
7.3 无限阶段平均准则
7.4 数值例子
7.5 多港口空集装箱的调配问题
第8章 人力资源模型
8.1 问题
8.2 数学模型
8.3 相关参数分析
8.4 数例
参考文献
索引