刘旭晖，花名天火，蘑菇街数据平台资深架构师，负责蘑菇街大数据服务平台整体产品规划和架构设计工作；此前多年供职于Intel开源技术中心，是Spark/Hadoop/HBase/Phoenix等开源项目贡献者；在内核驱动、操作系统中间件、输入法、浏览器等方向均有多年开发经验。

当前不乏大数据具体技术组件的书籍，但却很少有从大数据平台整体建设和产品形态的宏观角度入手来阐释的。本书重点介绍大数据开发平台服务构建的整体思路和解决方案，内容涵盖一个成熟的大数据开发平台必不可少的各类核心组件：工作流调度系统、集成开发环境、元数据管理系统、数据交换服务、数据可视化服务、数据质量管理服务，以及测试环境的建设等。书中还凝结了作者多年平台建设的实践经验，以及对大数据相关从业人员能力建设和职业规划的宝贵建议。本书适合广大志在深入了解大数据平台建设、开发和应用的在职人员及院校师生。

第1章 大数据平台整体建设思想 1
1．1 什么是大数据平台 1
1．2 大数据平台的建设目标 3
1．2．1 别人的大数据平台是怎样的 3
1．2．2 和业内领先的大数据平台的差距 4
1．2．3 大数据平台建设目标小结 6
1．3 大数据平台的建设指导方针 6
1．3．1 组件工具化 7
1．3．2 工具平台化 8
1．3．3 平台服务化 9
1．3．4 平台产品化 10
1．3．5 对中小公司大数据平台的适用性 11
1．4 大数据平台的两种建设路径 12
1．4．1 垂直业务领域一站到底的建设方式 13
1．4．2 通用组件建设，组合支持业务的方式 13
1．4．3 从蘑菇街平台的实践经验对比两种建设路径 14
1．4．4 两种建设路径的对比小结 16

第2章 服务意识和产品思想的培养 17
2．1 明确大数据平台服务能力的评估标准 17
2．1．1 大数据平台团队的职能定位 18
2．1．2 打通上下游系统和业务流程的能力 18
2．2 满足用户真正的需求 19
2．3 认清服务的代价，做好心理建设 20
2．4 寻找解决服务代价问题的方案 23
2．4．1 路线选择带来的代价问题 23
2．4．2 如何降低服务自身的代价 25
2．5 大数据平台的产品化思想 29
2．5．1 从用户体验的角度谈产品设计 31
2．5．2 从价值和利益的角度谈产品思维 36
2．6 小结 38

第3章 工作流（作业）调度系统 39
3．1 作业调度系统基础理论 40
3．1．1 调度系统分类 40
3．1．2 工作流调度系统的两种心法流派 45
3．1．3 工作流调度系统功能特性详解 49
3．2 Jarvis调度系统产品开发实践 55
3．2．1 需求定位分析 55
3．2．2 具体功能目标的详细分析和实践 57
3．2．3 第二代Jarvis现状和将来 75
3．3 小结 79

第4章 集成开发环境门户建设 81
4．1 集成开发环境的功能定位 82
4．1．1 集成开发环境的整体服务思路 83
4．1．2 集成开发环境的具体产品建设目标 86
4．1．3 小结 93
4．2 开发平台测试环境建设 94
4．2．1 问题背景 94
4．2．2 系统功能性测试环境 95
4．2．3 数据业务类测试环境 96
4．2．4 小结 100

第5章 数据采集、传输、交换、同步服务 101
5．1 数据交换服务场景和常见开源方案 102
5．1．1 大数据平台数据交换服务业务场景 102
5．1．2 常见数据交换服务解决方案介绍 103
5．2 数据交换服务具体产品实践 110
5．2．1 数据交换服务底层组件 110
5．2．2 数据交换服务管控平台 113
5．2．3 蘑菇街数据交换服务的实践现状和未来改进计划 118
5．3 用户行为链路分析之日志埋点采集跟踪方案实践 120
5．3．1 记日志有什么难的 120
5．3．2 蘑菇街的用户行为日志采集方案实践 122
5．3．3 小结 129

第6章 数据可视化平台 130
6．1 什么是数据可视化平台 130
6．1．1 数据可视化平台名词定义 131
6．1．2 已经有了那么多商业BI系统，为什么还要造轮子 132
6．2 数据可视化平台产品实践 134
6．2．1 可视化平台产品定位和需求分析 135
6．2．2 具体产品功能需求实践详解 136
6．2．3 将来的改进目标 146
6．2．4 产品实践小结 148

第7章 安全与权限管控 149
7．1 权限管理的目标是什么 149
7．1．1 适度安全，降低人为风险 150
7．1．2 隔离环境，提高工作效率 151
7．1．3 权责明晰，规范业务流程 152
7．1．4 权限管理目标小结 153
7．2 如何解决安全和便利的矛盾 153
7．2．1 安全和便利天生矛盾 153
7．2．2 改变角度，转移目标 154
7．2．3 把握尺度 155
7．2．4 可能的变通措施 157
7．2．5 思想小结 163
7．3 权限管控系统产品方案和技术分析 163
7．3．1 常见开源方案 164
7．3．2 Kerberos 165
7．3．3 Sentry和Ranger 168
7．3．4 Knox 169
7．3．5 开源项目中常见的权限模型概念 169
7．4 基于开发平台服务入口的权限管控方案 171
7．4．1 权限管控方案实践 171
7．4．2 底层统一权限管控和平台边界权限管控方案对比 173

第8章 数据质量管理 175
8．1 元数据管理平台 176 

8．1．1 元数据管理平台管理什么 176
8．1．2 元数据管理相关系统方案介绍 180
8．1．3 元数据管理系统工程实践 183
8．2 DQC数据质量中心 185
8．2．1 DQC数据质量中心业界方案 186
8．2．2 DQC数据质量系统建设实践 188
8．3 数据质量管理小结 193

第9章 大数据集群迁移经验谈 195
9．1 集群迁移都要面对哪些麻烦事 196
9．1．1 集群和机房外部环境问题 196
9．1．2 平台自身组件和服务依赖问题 196
9．1．3 业务模式和沟通配合问题 197
9．1．4 业务逻辑和数据正确性问题 198
9．2 集群搬迁方案的总体目标、原则、流程 199
9．3 一些具体问题的分析和实践 201
9．3．1 如何保证正确性 201
9．3．2 集群数据同步拷贝方案 205
9．3．3 各种无法双跑的业务场景梳理 207
9．4 小结 208

第10章 谈谈大数据码农的职业发展问题 210
10．1 如何成为一名糟糕的大数据平台工程师 211
10．1．1 我是小白我怕谁 211
10．1．2 敏而好学，不耻下问 212
10．1．3 效率优先，中文至上 213
10．1．4 流行的就是最好的 213
10．1．5 我们的征途，是星辰大海 215
10．1．6 书中自有颜如玉，热衷阅读代码 216
10．1．7 谜之问题的谜之解决方式 218
10．1．8 勤奋好学，但是回头即忘 220
10．1．9 小结 221
10．2 职业选择和我们早晚要面对的中年危机问题 222
10．2．1 中年危机，要从娃娃抓起 222
10．2．2 中年危机之抗焦虑指南 223
10．2．3 如何才能获得自由 225
10．2．4 案例 230
10．2．5 小结 233