译者序
前言
第1章 机器学习模型
1.1 线性回归
1.2 逻辑回归
1.3 广义线性模型
1.3.1 指数分布族
1.3.2 模型构建
1.4 支持向量机
1.5 正则化、Lasso回归和岭回归
1.6 群体风险最小化
1.7 神经网络
1.8 练习和注释
第2章 凸优化理论
2.1 凸集
2.1.1 定义和例子
2.1.2 凸集上的投影
2.1.3 分离定理
2.2 凸函数
2.2.1 定义和例子
2.2.2 可微凸函数
2.2.3 不可微凸函数
2.2.4 凸函数的Lipschitz连续性
2.2.5 凸优化的优性条件
2.2.6 表示定理与核
2.3 拉格朗日对偶
2.3.1 拉格朗日函数与对偶性
2.3.2 强对偶性的证明
2.3.3 鞍点
2.3.4 Karush-Kuhn-Tucker条件
2.3.5 对偶支持向量机
2.4 Legendre-Fenchel共轭对偶
2.4.1 凸函数的闭包
2.4.2 共轭函数
2.5 练习和注释
第3章 确定性凸优化
3.1 次梯度下降法
3.1.1 一般非光滑凸问题
3.1.2 非光滑强凸问题
3.1.3 光滑凸问题
3.1.4 光滑强凸问题
3.2 镜面下降法
3.3 加速梯度下降法
3.4 加速梯度下降法的博弈论解释
3.5 非光滑问题的光滑方案
3.6 鞍点优化的原始-对偶方法
3.6.1 一般双线性鞍点问题
3.6.2 光滑双线性鞍点问题
3.6.3 光滑强凸双线性鞍点问题
3.6.4 线性约束问题
3.7 乘子交替方向法
3.8 变分不等式的镜面-邻近方法
3.8.1 单调变分不等式
3.8.2 广义单调变分不等式
3.9 加速水平法
3.9.1 非光滑、光滑和弱光滑问题
3.9.2 鞍点问题
3.10 练习和注释
第4章 随机凸优化
4.1 随机镜面下降法
4.1.1 一般非光滑凸函数
4.1.2 光滑凸问题
4.1.3 准确性证书
4.2 随机加速梯度下降法
4.2.1 无强凸性问题
4.2.2 非光滑强凸问题
4.2.3 光滑强凸问题
4.2.4 准确性证书
4.3 随机凹凸鞍点问题
4.3.1 通用算法框架
4.3.2 极小极大随机问题
4.3.3 双线性矩阵博弈
4.4 随机加速原始-对偶方法
4.4.1 加速原始-对偶方法
4.4.2 随机双线性鞍点问题
4.5 随机加速镜面-邻近方法
4.5.1 算法框架
4.5.2 收敛性分析
4.6 随机块镜面下降方法
4.6.1 非光滑凸优化
4.6.2 凸复合优化
4.7 练习和注释
第5章 凸有限和及分布式优化
5.1 随机原始-对偶梯度法
5.1.1 多人共轭空间博弈的重新表述
5.1.2 梯度计算的随机化
5.1.3 强凸问题的收敛性
5.1.4 随机化方法的复杂度下界
5.1.5 对非强凸性问题的推广
5.2 随机梯度外插法
5.2.1 梯度外插方法
5.2.2 确定性有限和问题
5.2.3 随机有限和问题
5.2.4 分布式实现
5.3 降低方差的镜面下降法
5.3.1 无强凸性的光滑问题
5.3.2 光滑和强凸问题
5.4 降低方差加速梯度下降法
5.4.1 无强凸性的光滑问题
5.4.2 光滑和强凸问题
5.4.3 满足错误界条件的问题
5.5 练习和注释
第6章 非凸优化
6.1 无约束非凸随机优化法
6.1.1 随机一阶方法
6.1.2 随机零阶方法
6.2 非凸随机复合优化法
6.2.1 邻近映射的一些性质
6.2.2 非凸镜面下降法
6.2.3 非凸随机镜面下降法
6.2.4 复合问题的随机零阶方法
6.3 非凸随机块镜面下降法
6.4 非凸随机加速梯度下降法
6.4.1 非凸加速梯度下降法
6.4.2 随机加速梯度下降法
6.5 非凸降低方差镜面下降法
6.5.1 确定性问题的基本求解方案
6.5.2 随机优化问题的推广
6.6 随机化加速邻近点方法
6.6.1 非凸有限和问题
6.6.2 非凸多块问题
6.7 练习和注释
第7章 无投影方法
7.1 条件梯度法
7.1.1 经典条件梯度
7.1.2 条件梯度的新变体
7.1.3 复杂度下界
7.2 条件梯度滑动法
7.2.1 确定性条件梯度滑动法
7.2.2 随机条件梯度滑动法
7.2.3 鞍点问题的推广
7.3 非凸条件梯度法
7.4 随机非凸条件梯度
7.4.1 有限和问题的基本求解方案
7.4.2 随机优化问题的推广
7.5 随机非凸条件梯度滑动法
7.5.1 Wolfe间隙与投影梯度
7.5.2 迫使投影梯度减小的无投影法
7.6 练习和注释
第8章 算子滑动和分散优化
8.1 复合优化问题的梯度滑动法
8.1.1 确定性梯度滑动法
8.1.2 随机梯度滑动法
8.1.3 强凸和结构化的非光滑问题
8.2 加速梯度滑动法
8.2.1 复合光滑优化
8.2.2 复合双线性鞍点问题
8.3 通信滑动和分散优化
8.3.1 问题公式化
8.3.2 分散通信滑动
8.3.3 随机分散通信滑动
8.3.4 高概率结果
8.3.5 收敛性分析
展开
