本书以实战开发为原则，以Hadoop 3.X生态系统内的主要大数据工具整合应用及项目开发为主线，通过Hadoop大数据开发中常见的11个典型模块和3个完整项目案例，详细介绍HDFS、MapReduce、HBase、Hive、Sqoop、Spark等主流大数据工具的整合使用。本书附带资源包括本书核心内容的教学视频，本书所涉及的源代码、参考资料等。 全书共14章，分为3篇，涵盖的主要内容有Hadoop及其生态组件伪分布式安装和完全分布式安装、分布式文件系统HDFS、分布式计算框架MapReduce、NoSQL数据库HBase、分布式数据仓库Hive、数据转换工具Sqoop、内存计算框架Spark、海量Web日志分析系统、电商商品推荐系统、分布式垃圾消息识别系统等。 本书内容丰富、案例典型、实用性强，适合各个层次希望学习大数据开发技术的人员阅读，尤其适合有一定Java 基础而要进行Hadoop应用开发的人员阅读。

第一篇 Hadoop技术
第1章 大数据与Hadoop概述
1.1 大数据概述
1.1.1 大数据的定义
1.1.2 大数据行业的发展
1.1.3 大数据的典型应用
1.2 Hadoop概述
1.2.1 Hadoop简介
1.2.2 Hadoop生态子项目
1.2.3 Hadoop 3.X的新特性
1.3 小结
1.4 配套视频
第2章 Hadoop伪分布式安装
2.1 Hadoop伪分布式安装前的准备
2.1.1 安装VMware
2.1.2 安装CentOS
2.1.3 配置CentOS 7：接受协议
2.1.4 配置CentOS 7：登录系统
2.1.5 配置CentOS 7：设置IP
2.1.6 配置CentOS 7：修改主机名
2.1.7 配置CentOS 7：配置hosts文件
2.1.8 配置CentOS 7：关闭防火墙
2.1.9 配置CentOS 7：禁用selinux
2.1.10 配置CentOS 7：设置SSH免密码登录
2.1.11 配置CentOS 7：重启
2.2 Hadoop伪分布式安装
2.2.1 安装WinSCP
2.2.2 安装PieTTY
2.2.3 安装JDK
2.2.4 安装Hadoop
2.3 Hadoop验证
2.3.1 格式化
2.3.2 启动Hadoop
2.3.3 查看Hadoop相关进程
2.3.4 浏览文件
2.3.5 浏览器访问
2.4 小结
2.5 配套视频
第3章 Hadoop分布式文件系统——HDFS
3.1 HDFS原理
3.1.1 HDFS的假设前提和设计目标
3.1.2 HDFS的组件
3.1.3 HDFS数据复制
3.1.4 HDFS健壮性
3.1.5 HDFS数据组织
3.2 HDFS Shell
3.2.1 Hadoop文件操作命令
3.2.2 Hadoop系统管理命令
3.3 HDFS Java API
3.3.1 搭建Linux下Eclipse开发环境
3.3.2 为Eclipse安装Hadoop插件
3.3.3 HDFS Java API示例
3.4 小结
3.5 配套视频
第4章 分布式计算框架MapReduce
4.1 MapReduce原理
4.1.1 MapReduce概述
4.1.2 MapReduce的主要功能
4.1.3 MapReduce的处理流程
4.2 MapReduce编程基础
4.2.1 内置数据类型介绍
4.2.2 WordCount入门示例
4.2.3 MapReduce分区与自定义数据类型
4.3 MapReduce综合实例——数据去重
4.3.1 实例描述
4.3.2 设计思路
4.3.3 程序代码
4.3.4 运行结果
4.4 MapReduce综合实例——数据排序
4.4.1 实例描述
4.4.2 设计思路
4.4.3 程序代码
4.4.4 运行结