大数据是当前流行的热点概念之一，其已由技术名词衍生到对很多行业产生颠覆性影响的社会现象，作为明确的技术发展趋势之一，基于大数据的各种新型产品必将会对每个人的日常生活产生日益重要的影响。
　　张俊林著的这本《大数据日知录：架构与算法》从架构与算法的角度全面梳理了大数据存储与处理的相关技术。大数据技术具有涉及的知识点异常众多且正处于快速演进发展过程中等特点，其技术点包括底层的硬件体系结构、相关的基础理论、大规模数据存储系统、分布式架构设计、各种不同应用场景下的差异化系统设计思路、机器学习与数据挖掘并行算法以及层出不穷的新架构、新系统等。本书对众多纷繁芜杂的相关技术文献和系统进行了择优汰劣并系统性地对相关知识分门别类地进行整理和介绍，将大数据相关技术分为大数据基础理论、大数据系统体系结构、大数据存储，以及包含批处理、流式计算、交互式数据分析、图数据库、并行机器学习的架构与算法以及增量计算等技术分支在内的大数据处理等几个大的方向。通过这种体系化的知识梳理与讲解，相信对于读者整体和系统地了解、吸收和掌握相关的技术有很大的帮助与促进作用。

　　我和俊林接触不多但神交已久，几年前我看过他一本搜索方面的技术书籍，觉得写得相当不错，从此俊林的书都是必然要收藏的。看了这本书，感觉和上一本一样出色。和其他介绍大数据技术的书相比，这本书的涉及面相当广，覆盖了当前大数据技术（分布式计算、大规模文件系统、NoSQL数据库、常用数据结构和算法、批处理和流式计算、图数据库、分布式机器学习等）的方方面面。实在且实用，我想是这本书的特点，诚挚推荐对大数据技术感兴趣的读者阅读。
　　——王斌
　　中国科学院信息工程研究所研究员、博士生导师，《大数据》《信息检索导论》译者

　　本书区别于市场上已有的众多大数据概念类书籍，重点讲述了解决大数据问题的算法与架构，全书逻辑清晰，重点突出，讲述复杂算法时图文并茂，可以看出作者将实际工作经验结合理论，在本书上花了很多心血，相信能帮助从事大数据工作的所有工程技术人员。
　　——张栋
　　原百度科学家，凤巢系统架构师；原Google研究员，机器学习专家

　　此书内容跨度很大，可称为大数据领域“从入门到精通”的教科书，非常全面且系统化。人人都在谈论大数据，但事实上并没有人告诉大家大数据到底是什么、涵盖哪些方面，而此书可以给出答案。
　　——刘子正
　　新浪微博平台及大数据总经理

　　这是一本大数据技术的百科全书——从大数据的存储结构、内容管理，讲到集群任务调度、分布式数据通信、流行的各类新式数据库的介绍，还有基于机器学习技术的大数据实现以及大数据挖掘应用范例等内容，既包罗万象，又深入浅出。俊林的这本心血之作，是大数据研发人员绝好的技术向导。
　　——陈运文
　　盛大文学首席数据官

　　大数据已成为上到国家领导人，下到媒体会议必谈话题，但大数据的应用时代才刚刚开始，各大互联网公司都奇缺熟悉Hadoop、分布式系统开发和数据分析挖掘的人才，张俊林这本书全面展示了大数据相关的技术，理论算法和实践，有广度有深度，对于希望掌握大数据技术的开发者是必备利器。
　　——蒋涛
　　CSDN总裁、《程序员》杂志创始人

第0 章 当谈论大数据时我们在谈什么 1
0.1 大数据是什么2
0.2 大数据之翼：技术范型转换.4
0.3 大数据商业炼金术6
0.4 “大数据”在路上.7
第1 章 数据分片与路由 9
1.1 抽象模型.10
1.2 哈希分片（HashPartition） 11
1.2.1 RoundRobin11
1.2.2 虚拟桶（VirtualBuckets） 12
1.2.3 一致性哈希（ConsistentHashing） .13
1.3 范围分片（RangePartition） 18
参考文献19
第2 章 数据复制与一致性20
2.1 基本原则与设计理念21
2.1.1 原教旨CAP 主义21
2.1.2 CAP 重装上阵（CAPReloaded）.23
2.1.3 ACID 原则.24
2.1.4 BASE 原则.24
2.1.5 CAP/ACID/BASE三者的关系.25
2.1.6 幂等性（Idempotent）26
2.2 一致性模型分类.26
2.2.1 强一致性27
2.2.2 最终一致性28
2.2.3 因果一致性.28
2.2.4 “读你所写”一致性29
2.2.5 会话一致性29
2.2.6 单调读一致性30
2.2.7 单调写一致性.30
2.3 副本更新策略.30
2.3.1 同时更新30
2.3.2 主从式更新.31
2.3.3 任意节点更新32
2.4 一致性协议.32
2.4.1 两阶段提交协议（Two-PhraseCommit，2PC）33
2.4.2 向量时钟（VectorClock） 38
2.4.3 RWN 协议.40
2.4.4 Paxos 协议.42
2.4.5 Raft 协议.45
参考文献49
第3 章 大数据常用的算法与数据结构51
3.1 布隆过滤器（BloomFilter） 51
3.1.1 基本原理.52
3.1.2 误判率及相关计算52
3.1.3 改进：计数BloomFilter53
3.1.4 应用54
3.2SkipList55
3.3 LSM 树58
3.4 Merkle 哈希树（MerkleHash Tree） .62
3.4.1 Merkle 树基本原理62
3.4.2 Dynamo 中的应用.63
3.4.3 比特币中的应用63
3.5 Snappy 与LZSS 算法65
3.5.1 LZSS 算法.65
3.5.2Snappy67
3.6 Cuckoo 哈希（CuckooHashing） 67
3.6.1 基本原理.68
3.6.2 应用：SILT 存储系统.68
参考文献.70
第4 章 集群资源管理与调度.71
4.1 资源管理抽象模型.72
4.1.1 概念模型72
4.1.2 通用架构.73
4.2 调度系统设计的基本问题.74
4.2.1 资源异质性与工作负载异质性74
4.2.2 数据局部性（DataLocality） 75
4.2.3 抢占式调度与非抢占式调度.75
4.2.4 资源分配粒度（AllocationGranularity） .76
4.2.5 饿死（Starvation）与死锁（Dead Lock）问题.76
4.2.6 资源隔离方法77
4.3 资源管理与调度系统范型.77
4.3.1 集中式调度器（MonolithicScheduler）.78
4.3.2 两级调度器（Two-LevelScheduler） .79
4.3.3 状态共享调度器（Shared-StateScheduler） 79
4.4 资源调度策略.81
4.4.1 FIFO 调度策略81
4.4.2 公平调度器（FairScheduler）81
4.4.3 能力调度器（CapacityScheduler） 82
4.4.4 延迟调度策略（DelayScheduling）82
4.4.5 主资源公平调度策略（DominantResource Fair Scheduling）.82
4.5 Mesos.84
4.6YARN87
参考文献90
第5 章 分布式协调系统.91
5.1 Chubby 锁服务.92
5.1.1 系统架构93
5.1.2 数据模型94
5.1.3 会话与KeepAlive 机制.95
5.1.4 客户端缓存.95
5.2 ZooKeeper96
5.2.1 体系结构.96
5.2.2 数据模型（DataModel） .97
5.2.3 API.98
5.2.4 ZooKeeper 的典型应用场景98
5.2.5 ZooKeeper 的实际应用.103
参考文献.104
第6 章 分布式通信106
6.1 序列化与远程过程调用框架107
6.1.1 ProtocolBuffer 与Thrift .108
6.1.2Avro.109
6.2 消息队列.110
6.2.1 常见的消息队列系统110
6.2.2 Kafka.111
6.3 应用层多播通信（Application-LevelMulti-Broadcast）114
6.3.1 概述.114
6.3.2 Gossip 协议.115
参考文献118
第7 章 数据通道.120
7.1 Log 数据收集.120
7.1.1Chukwa121
7.1.2Scribe122
7.2 数据总线123
7.2.1Databus125
7.2.2 Wormhole.127
7.3 数据导入/导出.128
参考文献.129
第8 章 分布式文件系统131
8.1 Google 文件系统（GFS） .132
8.1.1 GFS 设计原则.132
8.1.2 GFS 整体架构133
8.1.3 GFS 主控服务器134
8.1.4 系统交互行为.136
8.1.5 Colossus137
8.2 HDFS138
8.2.1 HDFS 整体架构.139
8.2.2 HA 方案140
8.2.3 NameNode 联盟143
8.3 HayStack 存储系统145
8.3.1 HayStack 整体架构.146
8.3.2 目录服务147
8.3.3 HayStack 缓存.148
8.3.4 HayStack 存储系统的实现.148
8.4 文件存储布局.150
8.4.1 行式存储151
8.4.2 列式存储.151
8.4.3 混合式存储156
8.5 纠删码（ErasureCode）.158
8.5.1 Reed-Solomon 编码.159
8.5.2 LRC 编码.164
8.5.3 HDFS-RAID 架构.166
参考文献.166
第9 章 内存KV 数据库.168
9.1 RAMCloud169
9.1.1 RAMCloud 整体架构169
9.1.2 数据副本管理与数据恢复170
9.2Redis172
9.3 MemBase.173
参考文献175