埃拉德·哈赞（Elad Hazan） 普林斯顿大学计算机科学教授，谷歌人工智能普林斯顿公司的联合创始人和董事。他专注于机器学习和优化中基本问题的算法设计和分析的研究，曾获得贝尔实验室奖、2008年度和2012年度IBM Goldberg最佳论文奖、欧洲研究理事会奖、玛丽·居里奖学金和谷歌研究奖。他曾在计算学习协会指导委员会任职，并担任COLT 2015程序委员会主席，2017年与他人共同创建了致力于高效优化和控制的In8公司。

本书可作为在线凸优化大量理论的导论教程。第2~5章主要介绍在线凸优化的基本概念、架构和核心算法。本书其余部分则处理更为高级的算法、更为困难的设定和与著名的机器学习范式之间的关系。

前言
致谢
第1章 导论 1
11 在线凸优化模型 2
12 可以用OCO建模的例子 3
13 一个温和的开始: 从专家建议中学习 8
131 加权多数算法 10
132 随机加权多数算法 12
133 对冲 14
14 习题 16
15 文献点评 17
第2章 凸优化的基本概念 18
21 基本定义和设定 18
211 在凸集上的投影 20
212 最优条件简介 21
22 梯度、次梯度下降法 23
23 非光滑和非强凸函数的归约 27
231 光滑非强凸函数的归约 28
232 强凸非光滑函数的归约 29
233 一般凸函数的归约 32
24 例子: 支持向量机训练 33
25 习题 35
26 文献点评 37
第3章 在线凸优化的一阶算法 38
31 在线梯度下降法 39
32 下界 42
33 对数遗憾 43
34 应用: 随机梯度下降法 45
35 习题 49
36 文献点评 50
第4章 二阶方法 51
41 动机: 通用投资组合选择 51
411 主流投资组合理论 51
412 通用投资组合理论 52
413 持续再平衡投资组合 54
42 exp-凹函数 55
43 在线牛顿步算法 57
44 习题 63
45 文献点评 64
第5章 正则化 66
51 正则函数 67
52 RFTL 算法及其分析 69
521 元算法的定义 70
522 遗憾界 70
53 在线镜像下降法 74
531 迟缓型OMD算法与RFTL 算法的等价性 75
532 镜像下降的遗憾界 76
54 应用及特殊情形 78
541 在线梯度下降法的导出 79
542 乘法更新的导出 79
55 随机正则化 81
551 对凸代价函数的扰动 82
552 对线性代价函数的扰动 86
553 专家建议中的扰动领袖追随算法 87
56 最优正则化（选学） 90
57 习题 96
58 文献点评 98
第6章 Bandit凸优化 100
61 BCO设定 100
62 多臂赌博机问题 101
63 从有限信息到完整信息的归约 107
631 第1部分: 使用无偏估计 107
632 第2部分: 点点梯度估计 110
64 不需要梯度的在线梯度下降算法 113
65 BLO最优遗憾算法（选学） 116
651 自和谐障碍 116
652 一个近优算法 118
66 习题 121
67 文献点评 122
第7章 无投影算法 123
71 回顾: 与线性代数相关的概念 123
72 动机: 矩阵补全与推荐系统 124
73 条件梯度法 126
74 投影与线性优化 131
75 在线条件梯度算法 133
76 习题 138
77 文献点评 139
第8章 博弈、对偶性和遗憾 140
81 线性规划和对偶性 141
82 零和博弈与均衡 142
83 冯·诺伊曼定理的证明 146
84 近似线性规划 148
85 习题 150
86 文献点评 150
第9章 学习理论、泛化和OCO 152
91 统计学习理论的设定 152
911 过拟合 153
912 没有免费