段云峰，从20世纪80年代开始从事IT的学习，并一直从事IT工作。他在2001年开始主持国内某大型数据仓库项目实际设计和建设，积累了丰富的运营经验。他一直从事大数据等行业的理论和建设工作，主持了100多亿投资项目，创建并培养了国内首支从事大数据系统建设和运营的电信运营商队伍。他的主要作品有：《数据仓库技术及其在电信领域中的应用、《数据仓库基础》。

　　《大数据和大分析》首先阐述了大数据出现的背景，解释数据资产、数据驱动等基本概念，剖析数据分析的重要性，介绍了大分析的内容和范围以及关键点等；其次，阐述了大数据建设的基本内容、有关应用领域等，涉及收集、存储、标准、技术选择等内容；辨析了大数据与数据仓库的关系，重点介绍了数据质量、安全管理等数据管控的内容；最后，给出了与大数据建设配套的营销管理分析等方面的内容和经验，分享了如何引入互联网思维、开辟新视野的理念。
　　本书适合电信、金融、互联网等各个行业的大数据相关从业者，包括企业管理者、开发工程师、系统建设者、业务应用者和运营人员参考阅读。

　　《大数据和大分析》：
　　（3）服务层 
　　服务层为内部应用和外部系统提供各类服务，是对内和对外数据访问的统一接口。BI分析系统通过服务层对各类数据进行了封装，采用标准的服务接口对外提供服务，屏蔽了直接的数据访问和数据处理的各种逻辑。 
　　服务层又按照服务类型划分为数据服务和功能服务。其中，数据服务是对数据层的封装，对外提供数据服务；功能服务是对功能应用的封装，对外提供业务功能和基础功能服务。数据服务提供了API、标准SQL、脚本处理和数据挖掘等服务方式；功能服务则通过水印、应用集成、工作流、多维分析等技术提供了基础的安全、单点登录、流程、分析等各种服务。 
　　通过服务层，BI分析系统可以逐步实现应用和数据、应用和应用的解耦。应用层的应用访问仓库的数据时，直接调用服务层的数据服务；当使用一些通用或其他应用的功能时，可直接调用服务层的功能服务。 
　　服务层的服务也可以通过服务管理对第三方的应用开放。提供服务的方式有消息接口、文件接口、URL接口、远程调用接口等几种方式。需要使用服务的第三方应用，可以根据情况选择合适的接口。 
　　（4）应用层 
　　应用层在技术支撑上，划分了基础框架与应用展现、应用集成开发环境两个部分。其中，基础框架与应用展现是支撑所有应用展现运行的；应用集成开发环境是支撑应用开发的。支撑应用的基础框架有框架支撑技术（如SSH）、容器技术（如OSGi）和流程技术（如JBPM）等；应用展现则通过报表展现工具、数据可视化技术（如FLEX、HTML5）移动终端展现技术等来支撑。 
　　通过应用集成开发环境，可以完成简单应用的快速开发、集成与部署。集成开发环境分别提供了在线开发和离线开发两种开发模式。在线开发通过渲染引擎、配置引擎技术支撑应用的组织、展现；离线开发有标准框架开发和自定义框架开发两种方式。
　　……

第1章　背景　//1
1.1　大数据的引出和影响　//3
1.1.1　“大数据，大商机”　//3
1.1.2　“数据资产”的引出　//6
1.1.3　数据量庞大　//9
1.1.4　数据结构复杂　//10
1.1.5　数据价值有待挖掘　//11
1.1.6　“数据驱动”的变革　//12
1.1.7　互联网发展中的“数联网”　//15
1.2　为何需要大分析　//16
1.2.1　数据价值评估　//16
1.2.2　“数据资产”变现问题　//18
1.2.3　大分析的技术基础　//20
1.2.4　大分析面临的问题　//26
1.3　大分析的应用案例　//29
1.3.1　新的“啤酒和尿布”　//29
1.3.2　KPI信息地图　//30
1.3.3　“大数据、超细分、微营销”　//32
1.4 　小结　//34
第2章　大数据基础　//35
2.1　大数据的基本理念　//36
2.1.1　概念和定义探索　//36
2.1.2　大数据的技术基础　//37
2.1.3　没有大分析，大数据就是大垃圾　//38
2.1.4　大数据如何借鉴“数据仓库”的经验　//38
2.1.5　企业级数据中心　//41
2.2　大数据与数据仓库的关系　//42
2.2.1　大数据扩展数据仓库理论架构　//42
2.2.2　大数据继承数据仓库数据管理的经验　//43
2.2.3　大数据开启了非结构化数据的处理　//43
2.2.4　大数据要借鉴数据仓库的生态圈　//43
2.2.5　大数据应继承数据分析技术　//44
2.2.6 　与数据库的关系　//44
2.2.7　数据仓库借鉴大数据的营销模式　//44
2.3　大数据的基本特点　//45
2.3.1　“4V”特点　//45
2.3.2　大分析角度的大数据特征　//45
2.4　大数据的价值和意义　//46
2.4.1　围绕客户信息，提供全方位服务　//46
2.4.2　构筑“虚拟团队”，提升团队管理水平　//46
2.4.3　让“智慧城市”“智能交通”等变为可能　//47
2.4.4　构筑“理性社会”终于成为可能　//47
2.4.5　中国前所未有的一次“弯道超车”机遇　//47
2.5　大数据的问题和挑战　//48
2.5.1　数据质量问题越发突出　//48
2.5.2　数据分析技术尚缺实质突破　//48
2.5.3　大数据应用水平需要逐步演进、逐步深化　//48
2.5.4　大数据技术架构面临突破　//49
2.5.5　数据理念与国外仍然相距甚远　//49
2.5.6　大数据是一项系统工程　//49
2.6　小结　//50
第3章　大数据的管理　//51
3.1　数据如何收集　//52
3.1.1　能获取哪些数据　//52
3.1.2　基于数据价值，决定数据的收集、存放策略　//53
3.1.3　没有应用时，是否收集数据　//53
3.2　数据的标准　//53
3.2.1　数据接口　//53
3.2.2　数据模型　//55
3.3　大数据的ETL过程　//57
3.4　大数据如何存储　//58
3.4.1　数据库/数据仓库　//58
3.4.2　分布式文件系统（HDFS）　//59
3.4.3　混搭模式　//63
3.4.4　Hive /Hbase等　//63
3.4.5　MPP　//65
3.5　数据如何估值和计费　//65
3.5.1　什么数据最好卖　//66
3.5.2　市场价格　//66
3.5.3　数据的开放　//67
3.6　大数据的“数据资产”管理　//67
3.7　数据如何保障安全　//68
3.8 　小结　//71
第4章　大数据的技术架构　//73
4.1　大数据处理架构　//74
4.1.1　大数据处理层级和域　//75
4.1.2　哪些计算适合并行　//78
4.2　为何是混搭架构　//78
4.2.1　大数据混搭架构的利弊分析　//79
4.2.2　架构是否去IOE　//80
4.2.3　大数据混搭架构实例　//80
4.3　数据集市的模式　//83
4.3.1　数据沙盒模式　//85
4.3.2　贴近角色的平台及应用　//85
4.3.3　文件集市　//89
4.4　数据管控模块　//89
4.4.1　元数据　//89
4.4.2　数据质量　//91
4.5　大数据的“爬虫”技术　//93
4.5.1　定制爬虫Nutch　//94
4.5.2　分词技术—庖丁分词　//94
4.5.3　索引及全文检索—Splunk　//95
4.5.4　上网数据解析流程　//97
4.6　大数据安全管理框架　//99
4.6.1　安全管控技术架构　//99
4.6.2　管理制度建设　//101
4.6.3　去隐私化技术举例　//103
4.7　小结　//108
第5章　大数据的数据质量管控　//111
5.1　数据质量概念　//113
5.1.1　基本概念　//113
5.1.2　大数据就不考虑质量了吗　//117
5.2　元数据　//118
5.2.1　数据的数据　//118
5.2.2　元数据的CWM标准　//120
5.2.3　元数据分类　//122
5.3　数据质量管控　//123
5.3.1　数据质量管控目标　//123
5.3.2　数据质量子系统架构　//124
5.4　如何建立数据质量管理制度　//129
5.4.1　数据质量分工管理流程　//129
5.4.2　及时监控和告警　//136
5.5 　数据质量管控产品的客户体验　//139
5.5.1　降低技术门槛　//139
5.5.2　产品的手机App化　//140
5.6　小结　//141
第6章　大数据如何带来大分析　//143
6.1　没有应用的数据是垃圾数据　//145
6.1.1　应用的广度　//145
6.1.2　应用的深度　//145
6.1.3　应用的实时性/融合性　//146
6.2　大分析（BA）的概念　//147
6.2.1　“大分析”的发展变化　//147
6.2.2　大分析的“群众路线”　//150
6.3　大分析（BA）的产品开发　//151
6.3.1　基于数据分析，解决实际问题　//152
6.3.2　BA产品和分析工具产品的区隔　//154
6.3.3　自助分析　//158
6.3.4　导航式分析　//161
6.4　应用推广问题　//170
6.4.1　市场的“冬天”就是大分析的“春天”　//170
6.4.2　为何需要应用推广　//170
6.4.3　如何证明分析的独特价值　//171
6.4.4　如何解决员工实际的问题　//172
6.4.5　电信和互联网行业应用推广对比　//172
6.4.6　不同的企业用不同的推广方法　//172
6.5　大分析的“闭环”问题　//173
6.5.1　分析和执行的闭环执行　//173
6.5.2　营销流程的设计—营销管理平台　//173
6.6　小结　//176
第7章　大分析应用案例　//179
7.1　大分析的应用阶段　//180
7.2　非结构化数据的分析　//181
7.2.1　客户投诉内容分析　//181
7.2.2　互联网舆情监控分析　//183
7.3　客户分析　//184
7.3.1　客户生命周期　//184
7.3.2　客户内容属性　//197
7.3.3　客户行为属性　//203
7.3.4　客户新业务分析　//218
7.3.5　客户满意度分析　//220
7.3.6　客户流失分析　//223
7.4　产品分析　//234
7.4.1　建设背景和目的　//235
7.4.2　整体流程　//235
7.4.3　建设中涉及的模型　//235
7.5　内容营销分析　//240
7.5.1　手机视频产品营销触发　//240
7.5.2　手机视频内容分析　//240
7.5.3　目标客户筛选和细分　//240
7.5.4　方案设计　//241
7.5.5　营销脚本设计　//242
7.5.6　营销方式选择　//243
7.5.7　营销方式使用效果　//243
7.5.8　效益评估　//244
7.6　网格化管理分析　//245
7.7　社会渠道欺诈分析　//247
7.7.1　概述　//247
7.7.2　模型方法　//248
7.7.3　模型定义　//250
7.7.4　业务应用　//255
7.7.5　优化方法　//256
第8章　大数据中的互联网思维　//257
8.1　互联网思维介绍　//258
8.1.1　九大特征　//258
8.1.2　大数据为何需要互联网思维　//260
8.1.3　大数据如何借助互联网思维　//260
8.2　BA产品定义　//260
8.3　BA产品的客户体验　//263
8.3.1　客户是谁　//263
8.3.2　客户的体验是什么　//264
8.3.3　提升客户体验的展示形式　//266
8.3.4　提升客户体验的解决问题能力　//270
8.4　BA产品迭代开发 　//280
8.4.1　如何构建共享方式　//280
8.4.2　提供API接口　//282
8.4.3　提供类似App Store开发环境　//284
8.5　BA产品的“客户入口”把控　//286
8.5.1　抓住客户的入口　//286
8.5.2　让客户参与BA产品开发　//287
8.5.3　BA产品的内部客户营销　//287
第9章　大数据的管理架构及探索　//289
9.1　BA产品生态圈的建设　//290
9.1.1　生态圈组成　//290
9.1.2　生态圈盈利模式　//292
9.1.3　生态圈的“共赢”　//293
9.2　管理架构举例　//294
9.2.1　互联网企业架构　//294
9.2.2　运营公司的架构　//295
9.2.3　架构的特点分析　//295
9.3　人才的培养　//296
9.3.1　知识结构要求　//296
9.3.2　交际（团队）能力要求　//297
9.3.3　耐压能力要求　//297
9.4 　团队的构建及激励　//298
9.4.1　技术人员转型业务人员　//298
9.4.2　业务经验的培养和积累　//298
9.4.3　待遇激励　//298
第10章　后记　//299