宋彤雨
之江实验室高级研究专员，分别于2014年和2022年在电子科技大学获得工学学士学位和工学博士学位，主要研究方向为网络优化与规划技术、数据中心高速互联架构和协议设计。

任婧
电子科技大学信息与通信工程学院副研究员，分别于2007年和2015年在电子科技大学获得工学学士学位和工学博士学位，主要研究方向为下一代网络体系和协议设计、SDN关键技术、网络优化与规划技术，在IEEE Network、IEEE Wireless Communications等期刊发表多篇论文。

王雄
电子科技大学信息与通信工程学院教授，2003年在重庆邮电大学获得电子信息工程学士学位，2008年在电子科技大学获得通信与信息系统博士学位，2013—2014年在美国加州大学戴维斯分校进行SDN测量方面的访问研究，长期从事下一代互联网体系结构及关键技术、SDN关键技术、网络优化与规划、网络测量等方面的研究工作。近年来，在IEEE Network、IEEE Journal of Lightwave Technology、IEEE Journal of Optical Communication and Networking等期刊上发表论文20余篇，在IEEE INFOCOM、IEEE GLOBECOM、IEEE ICC，ACM SOSR等重要国际学术会议发表论文50余篇，其中SCI检索20余篇，EI检索30余篇。担任IEEE Transaction on Networking、IEEE Network、Photonic Network Communication等期刊的审稿人。?

本书探讨了深度学习技术在网络及其应用的协同智能管控中的主要实践范式。全书共分为7章。第1章为概述，介绍网络资源管控模式的发展，分析网络及其应用的协同需要解决的两类问题及其挑战，以及使用深度学习技术应对这些问题的方法，最后简述深度学习在网络资源管控中的已有工作。第2章针对DASH（Dynamic Adaptive Streaming over HTTP）业务中视频码率调整和带宽资源分配联合优化问题，介绍一种利用深度学习和监督学习框架的快速求解方案。第3章针对移动边缘计算中任务卸载和计算资源分配联合优化问题，介绍两种基于深度学习和监督学习的快速求解方案。第4章针对移动增强现实业务中的计算资源动态分配问题，介绍一种利用单智能体深度强化学习的求解方案，智能体通过对网络中计算资源的分配引导应用调整参数；针对移动增强现实业务中的应用层参数协同调整问题，介绍一种利用多智能体深度强化学习的求解方案，各智能体协同进行应用层参数调整。第5章针对多联盟链中路由和带宽资源动态分配问题，介绍一种利用多智能体深度强化学习的求解方案，各智能体先进行路由规划，再由网络层进行带宽资源分配。第6章针对无线传感器网络中的动态路由规划问题，介绍一种利用多智能体深度强化学习的求解方案，各智能体首先生成用于路由决策的元数据，然后由网络层产生最终的路由方案。第7章对本书内容进行总结，并展望未来可能的研究方向。
本书适合从事网络资源管控、网络智能化技术研究和开发的读者阅读。

目 录



第 1章 概述 1
1．1 网络资源管控模式的发展 1
1．2 SDN为网络及其应用的协同带来的机遇 4
1．3 基于SDN的资源管控工作及其局限性 5
1．4 网络及其应用的协同需要解决的两类问题 6
1．4．1 网络集中点和应用实体 6
1．4．2 网络及其应用协同决策方法所呈现出的两种主要问题形式 7
1．5 解决这两类问题所面临的挑战与应对方法 10
1．5．1 利用深度学习发展复杂优化问题的快速求解方法 10
1．5．2 利用深度强化学习为复杂连续决策问题提供解决方案 12
1．6 深度学习在网络资源管控中的已有工作 14
1．6．1 利用深度学习对网络资源管控问题进行快速求解 14
1．6．2 基于深度强化学习的网络资源管控方法 15
1．7 本书结构安排 17
参考文献 20
第 2章 DASH业务中视频码率调整和带宽资源分配快速求解方案 26
2．1 研究背景与动机 26
2．2 联合优化问题建模 29
2．3 联合优化问题求解 32
2．3．1 GBD方法概述 32
2．3．2 基于GBD方法的JRA2问题求解方案 34
2．4 FAIR-AREA方案 37
2．4．1 基于深度学习的监督学习概述 37
2．4．2 FAIR-AREA方案的深度神经网络设计 38
2．4．3 可行性保证算法 40
2．4．4 FAIR-AREA方案执行流程 41
2．5 FAIR-AREA方案性能评估 41
2．5．1 仿真环境设置 41
2．5．2 JRA2算法性能评估 42
2．5．3 FAIR-AREA方案性能测试 44
2．6 本章小结 50
参考文献 50
第3章 MEC中任务卸载和计算资源分配快速求解方案 52
3．1 研究背景与动机 52
3．2 JTORA问题建模 54
3．3 JTORA问题求解 56
3．4 FAST-RAM方案 59
3．4．1 深度神经网络设计 59
3．4．2 FAST-RAM方案执行流程 61
3．5 FAST-RAM方案性能评估 62
3．5．1 生成FAST-RAM方案所需数据集及DNN的训练 62
3．5．2 FAST-RAM方案性能测试 63
3．6 JTORA-SA问题建模 66
3．7 ARM方案 68
3．7．1 计算资源分配问题的分解 68
3．7．2 快速求解BS-Color问题的DNN设计 68
3．7．3 快速求解Task Placement问题的DNN设计 70
3．7．4 ARM方案执行流程 71
3．8 ARM方案性能评估 72
3．8．1 生成ARM方案所需数据集及DNN的训练 72
3．8．2 ARM方案性能测试 73
3．9 本章小结 77
参考文献 78
第4章 MAR业务中计算资源分配和客户端应用层参数调整动态决策方案 80
4．1 研究背景与动机 80
4．2 深度强化学习概述 84
4．2．1 单智能体深度强化学习算法 84
4．2．2 多智能体深度强化学习算法 88
4．3 移动增强现实系统概述 91
4．3．1 移动增强现实系统分析及工作流程 91
4．3．2 MAR客户端的QoE建模 93
4．3．3 MEC服务器计算资源分配算法的目标函数 94
4．4 DRAM方案 94
4．4．1 问题分析 95
4．4．2 DRAM方案设计 95
4．4．3 DRAM方案框架 98
4．5 DRAM方案性能评估 100
4．5．1 MAR客户端启发式自适应算法 100
4．5．2 实验设置 101
4．5．3 实验结果分析 104
4．5．4 超参数对系统性能的影响 107
4．5．5 不同MAR服务持续时间下的DRAM方案的泛化性能 108
4．5．6 DRAM方案的鲁棒性评估 109
4．6 COLLAR方案 110
4．6．1 两种基于DRL的MAR客户端应用层参数动态调整算法 111
4．6．2 基于多智能体DRL的应用层参数协同调整算法 120
4．7 COLLAR方案性能评估 124
4．7．1 仿真环境设置 124
4．7．2 COLLAR方案的总体性能表现 124
4．7．3 COLLAR方案中权重系数对性能的影响 125
4．7．4 COLLAR方案与DRAM方案性能对比 127
4．8 本章小结 127
参考文献 128
第5章 多联盟链中路由和带宽资源分配动态决策方案 131
5．1 研究背景与动机 131
5．2 问题分析及建模 134
5．2．1 系统描述 135
5．2．2 BaaS支持下多联盟链路由和带宽资源分配问题的目标函数 136
5．2．3 Dec-POMDP建模 137
5．3 CO-CAST方案 138
5．3．1 路由决策方案 139
5．3．2 带宽资源分配算法 142
5．4 CO-CAST方案性能评估 146
5．4．1 实验设置 146
5．4．2 实验测试结果 148
5．4．3 CO-CAST方案行为分析 150
5．4．4 不同超参数对CO-CAST方案性能的影响 153
5．5 本章小结 154
参考文献 154
第6章 无线传感器网络中动态路由规划方案 157
6．1 研究背景与动机 157
6．2 相关工作 159
6．3 WSN中动态路由规划问题建模 160
6．3．1 系统建模 161
6．3．2 问题建模 163
6．4 CO-NEXT方案 164
6．4．1 CO-NEXT问题分析及设计思路 164
6．4．2 CO-NEXT设计：DRL智能体设计 165
6．4．3 CO-NEXT设计：网络集中点路由生成算法 168
6．4．4 CO-NEXT方案的整体流程 170
6．5 CO-NEXT方案性能评估 171
6．5．1 仿真环境设置 171
6．5．2 对比方案 173
6．5．3 对比方案性能分析 174
6．5．4 不同路由生成方案的性能对比 176
6．5．5 分层采样中分层半径大小对性能的影响 177
6．5．6 不同通信范围对性能的影响 177
6．5．7 单智能体和多智能体方案性能对比 179
6．5．8 节点能量分析 179
6．6 本章小结 185
参考文献 185
第7章 总结与展望 188
7．1 总结 188
7．2 展望 190
名词索引 191