第1 章 Hadoop 2．X 1
1．1 Hadoop 的起源 1
1．2 Hadoop 的演进 2
1．3 Hadoop 2．X 6
1．3．1 Yet Another Resource Negotiator（YARN） 7
1．3．2 存储层的增强 8
1．3．3 支持增强 11
1．4 Hadoop 的发行版 11
1．4．1 选哪个Hadoop 发行版 12
1．4．2 可用的发行版 14
1．5 小结 16
第2 章 MapReduce 进阶 17
2．1 MapReduce 输入 18
2．1．1 InputFormat 类 18
2．1．2 InputSplit 类 18
2．1．3 RecordReader 类 19
2．1．4 Hadoop 的“小文件”问题 20
2．1．5 输入过滤 24
2．2 Map 任务 27
2．2．1 dfs．blocksize 属性 28
2．2．2 中间输出结果的排序与溢出 28
2．2．3 本地reducer 和Combiner 31
2．2．4 获取中间输出结果——Map 侧 31
2．3 Reduce 任务 32
2．3．1 获取中间输出结果——Reduce 侧 32
2．3．2 中间输出结果的合并与溢出 33
2．4 MapReduce 的输出 34
2．5 MapReduce 作业的计数器 34
2．6 数据连接的处理 36
2．6．1 Reduce 侧的连接 36
2．6．2 Map 侧的连接 42
2．7 小结 45
第3 章 Pig 进阶 47
3．1 Pig 对比SQL 48
3．2 不同的执行模式 48
3．3 Pig 的复合数据类型 49
3．4 编译Pig 脚本 50
3．4．1 逻辑计划 50
3．4．2 物理计划 51
3．4．3 MapReduce 计划 52
3．5 开发和调试助手 52
3．5．1 DESCRIBE 命令 52
3．5．2 EXPLAIN 命令 53
3．5．3 ILLUSTRATE 命令 53
3．6 Pig 操作符的高级特性 54
3．6．1 FOREACH 操作符进阶 54
3．6．2 Pig 的特殊连接 58
3．7 用户定义函数 61
3．7．1 运算函数 61
3．7．2 加载函数 66
3．7．3 存储函数 68
3．8 Pig 的性能优化 69
3．8．1 优化规则 69
3．8．2 Pig 脚本性能的测量 71
3．8．3 Pig 的Combiner 72
3．8．4 Bag 数据类型的内存 72
3．8．5 Pig 的reducer 数量 72
3．8．6 Pig 的multiquery 模式 73
3．9 最佳实践 73
3．9．1 明确地使用类型 74
3．9．2 更早更频繁地使用投影 74
3．9．3 更早更频繁地使用过滤 74
3．9．4 使用LIMIT 操作符 74
3．9．5 使用DISTINCT 操作符 74
3．9．6 减少操作 74
3．9．7 使用Algebraic UDF 75
3．9．8 使用Accumulator UDF 75
3．9．9 剔除数据中的空记录 75
3．9．10 使用特殊连接 75
3．9．11 压缩中间结果 75
3．9．12 合并小文件 76
3．10 小结 76
第4 章 Hive 进阶 77
4．1 Hive 架构 77
4．1．1 Hive 元存储 78
4．1．2 Hive 编译器 78
4．1．3 Hive 执行引擎 78
4．1．4 Hive 的支持组件 79
4．2 数据类型 79
4．3 文件格式 80
4．3．1 压缩文件 80
4．3．2 ORC 文件 81
4．3．3 Parquet 文件 81
4．4 数据模型 82
4．4．1 动态分区 84
4．4．2 Hive 表索引 85
4．5 Hive 查询优化器 87
4．6 DML 进阶 88
4．6．1 GROUP BY 操作 88
4．6．2 ORDER BY 与SORT BY 88
4．6．3 JOIN 类型 88
4．6．4 高级聚合 89
4．6．5 其他高级语句 90
4．7 UDF、UDAF 和UDTF 90
4．8 小结 93
第5 章 序列化和Hadoop I/O 95
5．1 Hadoop 数据序列化 95
5．1．1 Writable 与WritableComparable 96
5．1．2 Hadoop 与Java 序列化的区别 98
5．2 Avro 序列化 100
5．2．1 Avro 与MapReduce 102
5．2．2 Avro 与Pig 105
5．2．3 Avro 与Hive 106
5．2．4 比较Avro 与Protocol Buffers/Thrift 107
5．3 文件格式 108
5．3．1 Sequence 文件格式 108
5．3．2 MapFile 格式 111
5．3．3 其他数据结构 113
5．4 压缩 113
5．4．1 分片与压缩 114
5．4．2 压缩范围 115
5．5 小结 115
第6 章 YARN——其他应用模式进入Hadoop 的引路人 116
6．1 YARN 的架构 117
6．1．1 资源管理器 117
6．1．2 Application Master 118
6．1．3 节点管理器 119
6．1．4 YARN 客户端 120
6．2 开发YARN 的应用程序 120
6．2．1 实现YARN 客户端 120
6．2．2 实现AM 实例 125
6．3 YARN 的监控 129
6．4 YARN 中的作业调度 134
6．4．1 容量调度器 134
6．4．2 公平调度器 137
6．5 YARN 命令行 139
6．5．1 用户命令 140
6．5．2 管理员命令 140
6．6 小结 141
第7 章 基于YARN 的Storm——Hadoop中的低延时处理 142
7．1 批处理对比流式处理 142
7．2 Apache Storm 144
7．2．1 Apache Storm 的集群架构 144
7．2．2 Apache Storm 的计算和数据模型 145
7．2．3 Apache Storm 用例 146
7．2．4 Apache Storm 的开发 147
7．2．5 Apache Storm 0．9．1 153
7．3 基于YARN 的Storm 154
7．3．1 在YARN 上安装Apache Storm 154
7．3．2 安装过程 154
7．4 小结 161
第8 章 云上的Hadoop 162
8．1 云计算的特点 162
8．2 云上的Hadoop 163
8．3 亚马逊Elastic MapReduce 164
8．4 小结 175
第9 章 HDFS 替代品 176
9．1 HDFS 的优缺点 176
9．2 亚马逊AWS S3 177
9．3 在Hadoop 中实现文件系统 179
9．4 在Hadoop 中实现S3 原生文件系统 179
9．5 小结 189
第10 章 HDFS 联合 190
10．1 旧版HDFS 架构的限制 190
10．2 HDFS 联合的架构 192
10．2．1 HDFS 联合的好处 193
10．2．2 部署联合NameNode 193
10．3 HDFS 高可用性 195
10．3．1 从NameNode、检查节点和备份节点 195
10．3．2 高可用性——共享edits 196
10．3．3 HDFS 实用工具 197
10．3．4 三层与四层网络拓扑 197
10．4 HDFS 块放置策略 198
10．5 小结 200
第11 章 Hadoop 安全 201
11．1 安全的核心 201
11．2 Hadoop 中的认证 202
11．2．1 Kerberos 认证 202
11．2．2 Kerberos 的架构和工作流 203
11．2．3 Kerberos 认证和Hadoop 204
11．2．4 HTTP 接口的认证 204
11．3 Hadoop 中的授权 205
11．3．1 HDFS 的授权 205
11．3．2 限制HDFS 的使用量 208
11．3．3 Hadoop 中的服务级授权 209
11．4 Hadoop 中的数据保密性 211
11．5 Hadoop 中的日志审计 216
11．6 小结 217
第12 章 使用Hadoop 进行数据分析 218
12．1 数据分析工作流 218
12．2 机器学习 220
12．3 Apache Mahout 222
12．4 使用Hadoop 和Mahout 进行文档分析 223
12．4．1 词频 223
12．4．2 文频 224
12．4．3 词频－逆向文频 224
12．4．4 Pig 中的Tf-idf 225
12．4．5 余弦相似度距离度量 228
12．4．6 使用k-means 的聚类 228
12．4．7 使用Apache Mahout 进行k-means 聚类 229
12．5 RHadoop 233
12．6 小结 233
附录 微软Windows 中的Hadoop 235
