车云月，五洲树人教育投资有限公司创始人，知名职教专家，创新型校企合作国内领军人物，“5411”教育理念创始人。担任新迈尔教育集团总裁，中关村加一战略新兴产业人才发展中心主任等职位。在IT类创新和综合性人才培养等方面都做出了突破性的创新。凭借其多年的教育行业从业经验与实干精神，打开了国内职业教育的新局面。近年来更涉足国际教育领域，力争使我国的职业教育更加国际化，培养更加国际化的专业人才。

何平平，博士，副教授，硕士研究生导师，主持完成国家自然科学基金项目1项，教育部人文社会科学规划项目1项，省社科基金重点项目1项，省科技项目5项，企业委托研究项目2项，出版专著1部，教材1部，发表论文20余篇，现在湖南大学金融与统计学院工作，任湖南大学互联网金融研究所所长。

本书面向金融应用，系统地阐述了大数据金融与征信本身及其在现实生活中的应用，具有全面性、实用性和前瞻性等特色。全书共8章，第1章和第2章阐述大数据金融及大数据技术相关的基础知识问题，是后面章节的基础。第3章至第6章详细介绍大数据在银行业、证券业、保险业及互联网金融行业中的应用，是本书的主要内容。第7章重点阐述大数据在征信中的实际应用，是本书的另一重点问题，也是当代大数据研究的热点问题。第8章特别强调中国金融信息安全，这是大数据金融与征信的发展进程中不可避免的问题。本书力争把大数据与其实际应用糅合在一起介绍，力求活学活用。
本书可以作为高等学校互联网金融院系课程教材，也可供互联网金融研究者、从业者、管理人员参考所用。

第2章  大数据相关技术
本章目标
* 掌握大数据处理流程：数据采集、预处理、存储、挖掘和解释
* 掌握大数据的3种来源：核心数据、外围数据、常规渠道数据
* 掌握大数据的主要架构
* 掌握数据挖掘常用方法
本章简介
本章从大数据处理流程、数据来源、大数据生态圈及主要架构、数据挖掘的主要方法几个方面来介绍大数据的相关技术。
2.1  大数据处理流程
大数据的处理流程归纳为：首先利用多种轻型数据库收集海量数据，对不同来源的数据进行预处理后，整合存储到大型数据库中；然后根据企业或个人目的和需求，运用合适的数据挖掘技术提取有益的知识；最后利用恰当的方式将结果展现给终端用户。具体包括：数据采集、数据预处理、数据存储、数据挖掘及数据解释这5个步骤，如图2.1所示。
图2.1  大数据的处理流程
2.1.1  数据采集
大数据的采集是大数据处理过程中的第一步，它是数据分析和挖掘的基础。大数据的采集是指在确定用户目标的基础上，对该范围内的所有结构化、半结构化、非结构化数据进行采集的过程。采集的数据大部分是瞬时值，还包括某时段内的特征值。大数据的主要来源有商业数据、互联网数据、传感器数据。针对不同来源的数据，具有不同的采集方法。主要的大数据采集方法有系统日志采集方法、网络数据采集方法、其他数据采集方法。
1. 系统日志采集方法
大多数互联网企业都有自己的海量数据采集工具，常用于系统日志采集，如Scribe、 Flume、Chukwa、Kafka等。Scribe是Facebook开源的日志收集系统，能够从各种日志源收集日志，存储到一个中央存储系统中，以便于进行集中统计分析和处理；Chukwa属于Hadoop系列产品，是一个大型的分布式系统监测数据的收集系统，提供了很多模块以支持Hadoop集群分析；Flume是cloudera的开源日志系统，能够有效地收集汇总和移动大量的实时日志数据。这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。
2. 网络数据采集方法
网络数据采集是指利用互联网搜索引擎技术从网站抓取数据信息。目前，网络数据的采集基本上是利用垂直搜索引擎技术的网络爬虫或数据采集机器人、分词系统、任务与索引系统等技术进行综合运用而完成。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。除了网络中包含的内容之外，对于网络流量的采集可以使用DPI或DFI等带宽管理技术进行处理。
3. 其他数据采集方法
对于企业生产经营数据或学科研究数据等保密性要求较高的数据，可以通过与企业或研究机构合作，使用特定系统接口等相关方式采集数据。
在大数据的采集过程中，同一网站同一时间可能会有很多用户访问和操作。例如，火车票售票网站和淘宝，它们并发的访问量在峰值时超过了上百万，并发数十分高。因此，需要在采集端部署大量数据库才能支撑。
2.1.2  数据预处理
由于第一步收集得到的数据是原始数据，存在着不完整、不一致的问题，无法直接存储到数据库中进行数据挖掘。因此，在将来自前端的数据导入一个集中的大型数据库或者分布式存储集群前，需要对大数据进行预处理，这样不但能够节约大量的空间和时间，还能得到更好的数据挖掘结果。大数据预处理包括对数据进行清理、集成、变换和归约4个过程。
1. 数据清理
数据清理是数据准备过程中最乏味也是最关键的一步。其目的是填补缺失的数据、平滑噪声数据、删除冗余数据、纠正错误数据、清除异常数据，将原始的数据格式进行标准化。
……

第1章  大数据金融概述    1
1.1  大数据概述    2
1.1.1  大数据的内涵与特征    2
1.1.2  大数据的分类    7
1.1.3  大数据的价值    8
1.2  大数据应用领域    10
1.2.1  商业    10
1.2.2  通信    11
1.2.3  医疗    13
1.2.4  金融    16
1.3  大数据金融的内涵、特点与优势    18
1.3.1  大数据金融的内涵    18
1.3.2  大数据金融的特点    19
1.3.3  大数据金融相对于传统
金融的优势    20
1.4  大数据带来金融业大变革    20
1.4.1  大数据带来银行业大变革    21
1.4.2  大数据带来保险业大变革    22
1.4.3  大数据带来证券业大变革    23
1.4.4  大数据带来征信行业大变革    25
1.4.5  互联网金融中的大数据应用    26
1.5  大数据金融模式    27
1.5.1  平台金融模式    27
1.5.2  供应链金融模式    29
1.6  大数据金融信息安全    30
1.7  大数据应用案例    30
1.7.1  案例之一：滴滴出行    30
1.7.2  案例之二：大数据与美团
外卖的精细化运营    34
本章总结    43
本章作业    44
第2章  大数据相关技术    45
2.1  大数据处理流程    46
2.1.1  数据采集    46
2.1.2  数据预处理    47
2.1.3  数据存储    48
2.1.4  数据挖掘    48
2.1.5  数据解释    49
2.2  数据来源    49
2.2.1  核心数据    50
2.2.2  外围数据    52
2.2.3  常规渠道数据    53
2.3  大数据架构    54
2.3.1  HDFS系统    56
2.3.2  MapReduce    60
2.3.3  HBase    62
2.4  数据挖掘方法    63
2.4.1  分类分析    64
2.4.2  回归分析    65
2.4.3  其他方法    66
本章总结    69
本章作业    70
第3章  大数据在商业银行中的应用    71
3.1  客户关系管理    72
3.1.1  客户细分    72
3.1.2  预见客户流失    74
3.1.3  高效渠道管理    75
3.1.4  推出增值服务，提升客户
忠诚度    75
3.1.5  案例——大数据帮助商业银行
改善与客户的关系    76
3.2  精准营销    76
3.2.1  客户生命周期管理    77
3.2.2  实时营销    78
3.2.3  交叉营销    79
3.2.4  社交化营销    80
3.2.5  个性化推荐    81
3.3  信贷管理    82
3.3.1  贷款风险评估    82
3.3.2  信用卡自动授信    84
3.3.3  案例——大数据为商业银行
信贷管理提供更多可能    85
3.4  风险管理    86
3.4.1  大数据风险控制与传统风险
控制的区别    86
3.4.2  基于大数据的银行风险管理
模式    89
3.4.3  反欺诈    95
3.4.4  反洗钱    99
3.5  运营优化    101
3.5.1  市场和渠道分析优化    101
3.5.2  产品和服务优化    103
3.5.3  网络舆情分析    104
3.5.4  案例——大数据分析助力
手机银行优化创新    106
本章总结    108
本章作业    109
第4章  大数据在证券行业中的应用    111
4.1  大数据在股票分析中的应用    112
4.1.1  基于基本面分析的数据挖掘
方法    112
4.1.2  基于技术分析的数据挖掘
方法    113
4.1.3  决策树法的应用    114
4.1.4  聚类分析法的应用    115
4.1.5  人工神经网络算法的应用    116
4.2  客户关系管理    119
4.2.1  客户细分    119
4.2.2  客户满意度    122
4.2.3  流失客户预测    124
4.3  投资情绪分析    127
4.3.1  投资者情绪的测量    127
4.3.2  基于网络舆情的投资者情绪
分析    129
4.4  大数据与量化投资    134
4.4.1  量化投资概述    134
4.4.2  证券量化投资中的主要分析
工具    135
4.4.3  大数据在证券量化投资中的
应用    136
本章总结    139
本章作业    140
第5章  大数据在保险业中的应用    141
5.1  大数据保险    142
5.1.1  大数据保险的概念和特征    142
5.1.2  保险业大数据应用的阶段    143
5.1.3  大数据在保险行业中的
作用    144
5.1.4  大数据下的数据服务架构    146
5.1.5  保险业大数据应用现状    147
5.2  承保定价    150
5.2.1  大数据与传统保险定价
理论    150
5.2.2  大数据对承保定价的革新    151
5.2.3  大数据在车险定价中的
应用    153
5.2.4  大数据在健康险定价中的
应用    156
5.3  精准营销    162
5.3.1  保险精准营销    162
5.3.2  大数据与保险精准营销    164
5.3.3  组建垂直平台生态圈    167
5.3.4  大数据精准营销在保险业中的
应用    169
5.4  欺诈识别    171
5.4.1  保险欺诈    171
5.4.2  大数据与保险反欺诈    173
5.4.3  大数据与车险反欺诈    176
5.4.4  大数据与健康险的理赔
风险    180
本章总结    182
本章作业    183
第6章  互联网金融中的大数据应用    185
6.1  基于大数据的第三方支付欺诈
风险管理    186
6.1.1  第三方支付中的欺诈风险    186
6.1.2  大数据应用与欺诈
风险防范    186
6.2  大数据在网络借贷中的应用    189
6.2.1  推荐系统简述    189
6.2.2  P2P网站中的个性化推荐    190
6.2.3  基于VITA系统的信贷产品
匹配机制    191
6.3  大数据在互联网供应链金融中的
应用    193
6.3.1  基于大数据的互联网企业
信用评估    194
6.3.2  案例：京东供应链金融
模式    197
6.4  大数据在互联网消费金融中的
应用    198
6.4.1  互联网消费金融的大数据
征信与风控    198
6.4.2  案例：芝麻信用    199
本章总结    199
本章作业    200
第7章  大数据征信    201
7.1  传统征信    202
7.1.1  征信概述    202
7.1.2  征信的基本流程    209
7.1.3  征信行业产业链    212
7.1.4  征信产品    212
7.1.5  征信机构    216
7.1.6  征信体系    218
7.2  大数据征信    227
7.2.1  大数据征信概述    227
7.2.2  大数据征信的理论基础    230
7.2.3  大数据征信流程    233
7.3  大数据征信典型企业    233
7.3.1  国外大数据征信典型企业    233
7.3.2  国内大数据征信典型企业    242
本章总结    249
本章作业    250
第8章  大数据与中国金融信息安全    251
8.1  金融信息安全的重要性    252
8.1.1  金融信息安全的含义    252
8.1.2  金融信息安全的属性特征    253
8.1.3  金融信息安全的重要性    254
8.2  大数据给我国金融信息安全带来的
机遇和挑战    256
8.2.1  大数据给金融信息安全
带来的机遇    256
8.2.2  大数据给我国金融信息
安全带来的挑战    257
8.2.3  案例：美国“棱镜门”
事件    259
8.3  大数据金融信息安全风险    263
8.3.1  大数据金融信息安全风险的
类型    263
8.3.2  大数据金融信息安全风险的
特征    266
8.3.3  国内外金融信息安全事件及
事故    268
8.4  我国金融信息安全现状及
制约因素    272
8.4.1  我国金融信息安全现状    272
8.4.2  我国金融信息安全的
制约因素    274
8.5  美国金融信息安全保障机制    275
8.5.1  美国金融信息安全保障
机制的特点    275
8.5.2  美国金融信息安全保障
机制的主要做法    276
8.6  我国金融信息安全建设    277
8.6.1  完善顶层设计，尽快构建适应
我国金融发展需要的金融信息
安全保障体系    277
8.6.2  尽快制定我国金融行业国产
信息技术产品和服务替代
战略    277
8.6.3  尽快制定金融行业自主可控
战略实施步骤，推进自主可
控国家战略    278
8.6.4  应用大数据进行信息安全
分析    278
本章总结    278
本章作业    279
参考文献    281