前言
第一部分　了解AB实验
第1章　AB实验的基本原理和应用002
1.1　什么是AB实验002
1.1.1　AB实验的定义002
1.1.2　AB实验的类型004
1.2　AB实验的3个基本要素005
1.2.1　实验参与单元005
1.2.2　实验控制参数007
1.2.3　实验指标008
1.3　AB实验的2个核心价值009
1.3.1　定性因果：验证因果关系，确保方向正确009
1.3.2　定量增长：实践数据驱动，精细成本收益012
1.4　AB实验的2个关键特性015
1.5　AB实验行业应用016
1.5.1　AB实验应用场景016
1.5.2　AB实验应用案例018
第二部分　深入AB实验
第2章　AB实验的关键问题026
2.1　实验参与对象的3个问题027
2.2　实验随机分流的3个问题027
2.3　实验指标的2个问题028
2.4　实验分析和评估的3个问题028
第3章　AB实验的统计学知识031
3.1　随机抽样和抽样分布032
3.2　区间估计和置信区间037
3.3　样本容量和边际误差038
3.3.1　均值类指标038
3.3.2　比率类指标040
3.4　假设检验041
3.4.1　为什么需要假设检验041
3.4.2　如何进行假设检验042
3.4.3　第一类错误、第二类错误和功效047
3.4.4　如何计算功效049
3.5　非参数检验051
3.6　方差估计问题052
3.6.1　变化绝对差和相对差的方差估计053
3.6.2　比率类指标的方差估计054
3.6.3　其他指标的方差估计055
3.6.4　异常点对方差估计的影响055
3.7　多重测试问题056
3.7.1　什么是多重测试问题056
3.7.2　如何避免多重测试056
3.7.3　如何控制多重测试问题058
第4章　AB实验参与单元061
4.1　实验参与单元的选择061
4.1.1　常见的实验参与单元062
4.1.2　实验参与单元粒度与实验评估066
4.1.3　用户级别的实验参与单元067
4.2　实验参与单元的SUTVA问题070
4.2.1　什么是SUTVA070
4.2.2　为什么需要让SUTVA成立071
4.2.3　导致SUTVA不成立的原因073
4.2.4　如何解决SUTVA不成立的问题075
4.3　最小实验参与单元数量079
第5章　AB实验的随机分流083
5.1　单层分流模式083
5.2　正交分层模式084
5.2.1　正交性问题085
5.2.2　分层问题087
5.3　散列算法089
第6章　AB实验的SRM问题092
6.1　什么是SRM问题092
6.2　导致SRM问题的原因093
6.2.1　部署阶段093
6.2.2　执行阶段097
6.2.3　数据处理和分析阶段098
6.3　SRM指标计算和定位099
6.3.1　SRM指标计算099
6.3.2　定位SRM问题099
第7章　AA实验101
7.1　AA实验的意义101
7.1.1　控制第一类错误102
7.1.2　确保用户同质104
7.1.3　数据指标对齐105
7.1.4　估计统计方差106
7.2　如何运行AA实验108
7.2.1　什么时候运行AA实验108
7.2.2　AA实验失败的常见原因110
第8章　AB实验的灵敏度112
8.1　什么是实验灵敏度112
8.2　如何提升实验灵敏度113
8.3　选择指标114
8.3.1　选择方差较小的评估指标114
8.3.2　标准化评估指标115
8.4　选择实验参与对象116
8.4.1　采用更细粒度的单元随机化对象116
8.4.2　使用触发分析116
8.5　选择实验分组117
8.5.1　使用分层、控制变量或CUPED方法117
8.5.2　设计配对实验119
8.6　定向触发技术和评估119
8.6.1　触发的方式120
8.6.2　触发范围变化121
8.6.3　触发实验的分析123
8.6.4　触发检验125
8.6.5　触发技术的局限性125
8.7　如何验证实验灵敏度的提升127
第9章　AB实验的长期影响129
9.1　长短期影响不一致的原因130
9.2　评估长期影响的意义133
9.3　如何评估长期影响134
9.3.1　长周期实验134
9.3.2　保留实验和反转实验136
9.3.3　后期分析法137
9.3.4　时间交错实验法139
9.3.5　固定群组分析法140
9.3.6　长期影响的代理指标法141
第三部分　AB实验评估指标体系
第10章　产品指标体系145
10.1　什么是指标体系145
10.2　设计指标146
10.2.1　基于OKR的分级法147
10.2.2　OSM模型法153
10.2.3　指标设计和开发技巧154
10.3　评估指标156
10.3.1　信息增益156
10.3.2　因果关系158
10.3.3　长期有效性158
10.4　进化指标159
10.5　指标分类162
10.6　指标体系设计案例165
第11章　实验评估指标体系169
11.1　实验评估指标的3个基本条件169
11.2　选择更好的实验评估指标170
11.2.1　综合指向性与灵敏性170
11.2.2　从业务视角出发172
11.2.3　考虑应用和工程174
11.3　将关键指标合并为OEC175
11.3.1　如何建立OEC176
11.3.2　OEC的关键属性179
11.3.3　构建OEC的注意事项179
11.3.4　构建OEC的案例180
第四部分　AB实验的基础建设
第12章　开展AB实验的基础条件187
12.1　决策层认知187
12.2　基础工具建设188
12.2.1　购买外部服务189
12.2.2　自建平台190
12.3　文化制度建设191
第13章　AB实验平台的建设192
13.1　AB实验平台架构193
13.2　实验管理功能194
13.2.1　实验创建管理195
13.2.2　实验配置管理196
13.2.3　实验操作管理197
13.2.4　实验权限管理198
13.3　实验部署功能199
13.3.1　流量分配大小200
13.3.2　流量分配时机202
13.3.3　实验放量节奏203
13.3.4　不同类型实验的部署205
13.3.5　实验部署中的其他问题209
13.4　实验数据处理和分析211
13.4.1　数据源212
13.4.2　数据处理214
13.4.3　指标定义和数据计算215
13.4.4　数据可视化219
13.4.5　数据分析221
13.5　AB实验服务通用框架221
第14章　实验组织和文化建设224
14.1　决策层的支持与参与226
14.2　实验专家团队的带领与教育228
14.3　业务团队实验骨干的深入与传递229
14.4　全体参与和扩大影响231
14.5　国内AB实验的开展情况233
14.6　实验成熟度模型236
第五部分　基于AB实验的增长实践
第15章　构建想法：形成产品假设240
15.1　产品策划找方向240
15.2　数据洞察找瓶颈245
第16章　验证想法：AB实验实践252
16.1　实验假设252
16.1.1　目标性252
16.1.2　可归因253
16.1.3　可复用254
16.2　实验设计255
16.2.1　实验样本选择255
16.2.2　实验指标设计257
16.2.3　实验流量计算258
16.2.4　实验周期预估260
16.3　实验运行261
16.3.1　实验上线261
16.3.2　实验停止263
16.3.3　实验放量265
16.4　实验分析和理解266
16.4.1　明确实验影响范围266
16.4.2　确保实验对比人群具有可对比性270
16.4.3　实验影响评估：先总后分、从主到次272
16.4.4　通过维度细分发现问题273
16.4.5　理解实验统计学含义275
16.4.6　解读数据背后的产品逻辑277
16.5　实验决策278
16.5.1　从分析到决策278
16.5.2　3种实验结果282
16.5.3　实验报告284
第17章　沉淀想法：实验记忆285
17.1　什么是实验沉淀285
17.2　实验沉淀的价值286
17.2.1　发现策略通用性286
17.2.2　从失败中寻找机会289
17.2.3　发扬实验文化290
17.2.4　帮助理解指标290
17.3　如何进行实验沉淀291
第18章　基于AB实验的增长实践解决方案293
18.1　角色分工方案295
18.2　数据建设方案295
18.3　效果评估方案297
第六部分　AB实验的局限与补充
第19章　AB实验的局限性303
19.1　战略创新层面303
19.2　战术执行层面305
第20章　AB实验之外的因果分析方法309
20.1　匹配法310
20.1.1　匹配法的基本步骤310
20.1.2　倾向性得分方法313
20.2　工具变量法314
20.2.1　什么是工具变量314
20.2.2　案例1：教育、参军对收入的影响316
20.2.3　案例2：内容发布者与用户活跃度的关系317
20.3　面板数据法317
20.4　中断时间序列法319
20.5　断点回归法320
20.6　增益模型322
第21章　常用的用户调查分析方法325
21.1　用户日志分析326
21.2　调查问卷328
21.3　焦点小组329
21.4　用户体验研究330
21.5　人工评测330
21.6　外部数据332