朱扬勇，复旦大学计算机科学技术学院教授、学术委员会主任，上海市数据科学重点实验室主任，上海市政府信息化专家委员会专家，中国计算机学会大数据专家委员会专家，美国马里兰大学客座教授。从事数据领域研究25年，是很早一批从事数据挖掘研究的学者，是数据科学研究的主要倡导者之一。主持过国家自然科学基金、国家863计划项目、上海市科委重点等多项数据挖掘领域的研究课题，曾获上海市科技进步一、二、三等奖。相关研究成果在具有影响力的外期刊或会议上发表论文100余篇，出版专著2本，教材3本。2009年发表了数据科学论文Data Explosion, Data Nature 等。

第1章 绪论 1

1.1 大数据的技术挑战 1

1.1.1 大数据的"大"1 

1.1.2 数据"大"的技术挑战 3 

1.1.3 大数据决策的技术挑战 5 

1.1.4 数据安全的技术问题 7 

1.2 大数据计算  8

1.2.1 大数据文件 9 

1.2.2 大数据计算框架  10 

1.2.3 大数据管理  11 

1.3 数据开发 12

1.3.1 数据获取  12 

1.3.2 数据分析  13 

1.3.3 数据可视化  14 

1.4 数据产业支持 15

1.4.1 数据产业需要的技术支持  15 

1.4.2 数据资产化 16 

1.4.3 数据产品及其质量  17 

1.4.4 数据流通与安全  18 

1.5 小结  19 

参考文献  19

第 2章 大数据计算  21

2.1 数据访问21

2.1.1 安全模型  21

2.1.2 访问控制策略  23 

2.1.3 访问控制与授权  24 

2.1.4 访问控制与审计  24 

2.2 分布式文件系统 24

2.2.1 GoogleFS  25 

2.2.2 HDFS  27 

2.2.3 GlusterFS  28 

2.2.4 CephFS  29 

2.3 大数据计算框架 30

2.3.1  批处理 30 

2.3.2 流数据计算  38 

2.3.3 增量计算模型  41 

2.3.4 新兴计算框架  44 

2.3.5 大数据计算框架的发展  46 

2.4 多地计算异地计算模式 48

2.4.1 概念48 

2.4.2 计算模型  49 

2.4.3 特点  49 2.5 小结 49 

参考文献  49

第 3章 大数据管理  51

3.1 概述 51 

3.2 分布式文件系统 HDFS  52

3.2.1  前提和设计目标 53 

3.2.2 数据块  53 

3.2.3  HDFS架构  54 

3.2.4 HDFS容错机制  54 

3.3 列式存储格式 Parquet  55

3.3.1 行存储与列存储文件格式  55 

3.3.2 Parquet 概述 56 

3.3.3 数据模型 56 

3.3.4 Parquet 文件的存储格式 57 

3.4 NOSOL  58

3.4.1 键值对数据库  58 

3.4.2 基于列族的数据库  59 

3.4.3 基于文档的数据库  59 

3.4.4 基于图的数据库  60

3.5 键值数据库 Redis 60

3.5.1 Redis简介 60 

3.5.2 Redis数据类型 61 3.5.3 Redis事务 63 

3.5.4 Redis 持久化机制 63 

3.6 HBase  63

3.6.1  HBase简介  63 

3.6.2 HBase访问接口 64 

3.6.3 HBase数据模型  64 

3.6.4 HBase系统架构  65 

3.6.5 HBase存储格式  66 

3.7 Dynamo67

3.7.1 Dynamo系统设计假设和前提  67 

3.7.2 Dynamo数据分布策略  68 

3.7.3 CAP原理  68 

3.7.4 Dynamo 的一致性实现技术  69 

3.7.5 Dynamo系统访问接口 69 

3.8 Cassandra  69 

3.9 MongoDB 70

3.9.1 MongoDB简介 70 

3.9.2 MongoDB数据模型70 

3.9.3 MongoDB基础操作71 

3.9.4 MongoDB聚集操作 73 

3.9.5 MongoDB复制机制75

3.9.6 MongoDB分片机制 76 

3.10 Neo4j  76

3.10.1 Neo4j简介 76 

3.10.2 Neo4j基础概念  77 

3.10.3 NeO4j的Cypher查询语言和模式 78 

......