黄宏程：重庆邮电大学副教授，主要从事复杂网络与信息处理、大数据技术等方向的研究与应用，近年来，作为项目负责人或主研人员，参加多项国家自然科学基金和省部级重点科研项目10余项，2012、2013年度中国人民解放军科学技术进步奖获得者。发表论文20余篇，其中SCI/EI检索10余篇次，申请国家发明专利8项，授权5项。

本书从大数据的基本概念出发，深入解析了大数据应用的关键技术与应用。以大数据的数据挖掘技术、大数据的存储与处理、大数据应用的总体架构三方面为线索，详细阐述了大数据挖掘的诸多常用算法，介绍了Hadoop、HDFS及MapReduce等大数据存储与处理的关键技术与应用、大数据应用的框架与构架。本书以通信运营商及互联网电子商务等应用为背景，从典型实例的角度系统地介绍了大数据挖掘应用从目标构建、算法建模到程序实现，再到大数据分析及结果描述应用的整个过程，以期为读者提供从理论到实务的有效借鉴。

第1章　大数据概述 1
1．1 大数据的概念 1
1．1．1 什么是大数据 1
1．1．2 大数据的产生和来源 2
1．1．3 大数据的技术 3
1．1．4 大数据的特征 8
1．1．5 数据、信息与知识 10
1．2 大数据的价值与挑战 10
1．2．1 大数据的潜在价值 11
1．2．2 大数据对业务的挑战 12
1．2．3 大数据对技术架构的挑战 13
1．2．4 大数据对管理策略的挑战 14
1．3 大数据与相关领域的关系 16
1．3．1 大数据与统计分析 16
1．3．2 大数据与数据挖掘 16
1．3．3 大数据与云计算 17
1．4 大数据发展状况 20
参考文献 23
第2章　大数据挖掘技术 24
2．1 数据挖掘与过程 24
2．1．1 数据挖掘的七大功能 24
2．1．2 数据挖掘的实质 25
2．2 数据挖掘过程 26
2．2．1 定义挖掘目标 27
2．2．2 数据取样 28
2．2．3 数据探索 30
2．2．4 数据预处理 32
2．2．5 数据模式发现 37
2．2．6 模型评价 40
2．3 常用算法 47
2．3．1 决策树 48
2．3．2 回归 50
2．3．3 关联规则 54
2．3．4 聚类 59
2．3．5 贝叶斯分类方法 66
2．3．6 神经网络 69
2．3．7 支持向量机（SVM） 73
2．3．8 假设检验 77
2．3．9 遗传算法 81
参考文献 84
第3章　大规模存储与处理技术 86
3．1 Hadoop概述 86
3．1．1 什么是Hadoop 86
3．1．2 Hadoop发展简史 88
3．1．3 Hadoop的优势 90
3．1．4 Hadoop的子项目 90
3．2 HDFS 92
3．2．1 HDFS的设计目标 93
3．2．2 HDFS文件系统的原型GFS 93
3．2．3 HDFS文件的基本结构 95
3．2．4 HDFS的文件读/写操作 97
3．2．5 HDFS的存储过程 101
3．3 MapReduce编程框架 105
3．3．1 MapReduce的发展历史 105
3．3．2 MapReduce的基本工作过程 107
3．3．3 MapReduce的特点 110
3．4 建立Hadoop开发环境 111
3．4．1 相关准备工作 111
3．4．2 JDK的安装配置 113
3．4．3 SSH无钥登录 113
3．4．4 安装、配置Hadoop环境变量 115
3．5 大数据处理系统分类 118
3．5．1 批量数据处理系统 118
3．5．2 流式数据处理系统 119
3．5．3 交互式数据处理 122
3．5．4 图数据处理系统 124
3．6 大数据查询和分析技术：SQL on Hadoop 126
3．6．1 数据库简介 126
3．6．2 图数据库 128
3．6．3 Hive：基本的Hadoop分析 130
3．6．4 实时互动的SQL：Impala和Drill 134
3．7 以通信业务分析为例的大数据的技术环境部署 136
3．7．1 应用架构规划与设计 136
3．7．2 技术环境部署与配置 137
第4章　大数据应用的总体架构和关键技术 148
4．1 大数据的业务分析 148
4．2 大数据的总架体构模型 152
4．3 大数据高级分析 161
4．3．1 数据仓库与联机分析处理技术 162
4．3．2 大数据分析与传统分析 167
4．3．3 非结构化复杂数据分析 168
4．3．4 实时预测分析 177
4．4 可视化分析 181
4．4．1 可视化技术 181

4．4．2 可视化工具 192
参考文献 195
第5章　运营商数据分析 196
5．1 案例背景 196
5．1．1 大数据运营已为大势所趋 196
5．1．2 采取大数据运营的原因 196
5．1．3 大数据分析如何提升电信行业绩效 197
5．1．4 大数据的社会价值 199
5．2 挖掘目标的提出 200
5．3 案例分析 201
5．3．1 体系架构 201
5．3．2 Hadoop集群抽取模块 202
5．3．3 数据处理模块 208
5．3．4 数据分发 211
5．4 MapReduce操作 218
5．5 结果分析 221
第6章　互联网电影推荐系统 223
6．1 背景描述 223
6．2 业务目标 224
6．3 业务需求 225
6．4 协同过滤推荐系统建模 225
6．4．1 推荐系统概述 225
6．4．2 基于对立用户的协同过滤模型 227
6．5 项目处理过程 229
6．5．1 项目数据 229
6．5．2 数据预处理 230
6．5．3 Hadoop并行算法 242
6．6 总结 250