目 录
第1章 大数据分析领域职业介绍
1.1 职业路径
1.1.1 大数据职业生态
1.1.2 大数据工程师职业方向
1.1.3 大数据分析师职业方向
1.1.4 大数据工作入门
1.2 技能要求
1.2.1 基本职业素养
1.2.2 从数据中挖掘金矿
1.2.3 大数据工程师的技能要求
1.2.4 大数据分析师的技能要求
1.3 工作情况
1.3.1 典型的工作状态
1.3.2 大数据职业的现状
1.4 职业前景
1.4.1 大数据职业的发展
1.4.2 大数据的未来
1.4.3 大数据职业的规划
第2章 初识大数据
2.1 大数据的基础知识
2.1.1 什么是大数据
2.1.2 大数据为什么重要
2.1.3 大数据的维度
2.2 大数据的类型
2.2.1 结构化数据与非结构化数据
2.2.2 几个大数据的例子
2.3 大数据的行业应用
2.4 企业面临的大数据挑战类型
2.4.1 大数据从何而来
2.4.2 企业如何获取大数据
2.4.3 大数据的存储问题
2.4.4 大数据对分析人才的要求
2.4.5 大数据带来的挑战类型
第3章 数据库基础
3.1 数据库简介
3.1.1 数据管理技术发展史
3.1.2 数据库的应用
3.1.3 数据库系统概述
3.2 关系型数据库
3.2.1 数据模型概述
3.2.2 关系数据模型
3.2.3 E-R数据模型
3.2.4 关系型数据库的设计原则
3.3 数据仓库
3.3.1 数据仓库的历史
3.3.2 数据仓库系统的组成
3.3.3 ETL
3.3.4 数据仓库与操作型数据库的关系
3.4 Hadoop与分布式数据存储
3.4.1 大数据对存储技术的挑战和Hadoop的起源
3.4.2 Hadoop生态圈及系统架构
3.4.3 Hadoop应用场景
3.4.4 Hadoop局限性
3.5 阿里云MaxCompute
3.5.1 MaxCompute简介
3.5.2 MaxCompute的基本概念
3.5.3 MaxCompute数据的导入导出
3.5.4 MaxCompute SQL
3.5.5 函数
3.5.6 MaxCompute MapReduce
3.5.7 MaxCompute权限与安全
3.6 常用Linux指令简介
3.6.1 安装和登录指令
3.6.2 文件处理指令
3.6.3 系统管理相关指令
3.6.4 网络操作指令
3.6.5 系统安全相关指令
3.6.6 其他指令
第4章 数据分析工具与语言
4.1 SQL基础
4.1.1 SQL简介
4.1.2 MySQL数据类型
4.1.3 数据定义语言
4.1.4 数据操作语言
4.1.5 join
4.1.6 数据表的合并、交集
4.1.7 SQL实用函数
4.2 MapReduce
4.2.1 MapReduce Job
4.2.2 MapReduce主程序
4.2.3 MapReduce主程序运行详解
4.2.4 MapReduce数据流与控制流详解
4.2.5 MapReduce小结
4.3 Hive
4.4 Pig
4.5 HDFS
4.5.1 HDFS的相关概念
4.5.2 HDFS的基本操作
4.5.3 HDFS常用的Java API介绍
第5章 数据可视化
5.1 数据可视化概念
5.1.1 数据可视化的定义与原则
5.1.2 数据可视化的设计思路
5.2 数据可视化元素
5.2.1 表格
5.2.2 柱状图
5.2.3 折线图
5.2.4 饼图
5.2.5 地图
5.2.6 散点图
5.2.7 其他常见图
5.3 数据可视化设计原则
5.4 DataV设计
5.5 BI报表设计
第6章 数据项目质量控制
6.1 数据质量控制理论
6.1.1 数据质量的五个维度
6.1.2 脏数据类型
6.2 评估数据的质量及其对项目的影响
6.2.1 数据如何创造价值――DIK
6.2.2 数据质量问题对企业创造价值的影响
6.3 数据预处理
6.3.1 数据预处理的五大步骤
6.3.2 数据清洗场景
6.3.3 脏数据清洗过程
6.3.4 脏数据与脏数据清洗的基本方法
6.3.5 脏数据处理的案例
6.3.6 SQL处理脏数据示例
6.4 数据脱敏
6.4.1 确定数据脱敏对象
6.4.2 隐私数据泄露类型
6.4.3 隐私数据脱敏的要求
6.4.4 常见的数据脱敏算法
6.5 数据项目质量控制的类型
第7章 数据编程基础
7.1 面向分析的数据编程范例
7.1.1 数据项目的特点
7.1.2 数据项目编程的流程
7.1.3 面向分析的数据编程范例
7.2 编程效率和程序运行效率
7.2.1 编程效率
7.2.2 程序运行效率
7.3 编程质量控制流程
第8章 数据项目设计与执行
8.1 数据分析项目计划管理流程
8.2 数据项目设计方法
8.2.1 项目目标
8.2.2 背景调查
8.2.3 分析范围
8.2.4 分析结果交付形式
8.3 数据分析项目的分类
8.4 项目前分析和项目绩效考评
第9章 数据分析技术
9.1 指标体系
9.1.1 绩效指标(KPI)的定义
9.1.2 企业构建指标体系
9.1.3 平衡计分卡常见指标
9.2 数据分析
9.2.1 数据分析的定义
9.2.2 数据分析的目的
9.2.3 数据分析的作用
9.3 探索性数据分析(EDA)
9.3.1 EDA简介
9.3.2 单一变量探索性分析
9.3.3 多变量探索性分析
9.4 探索性数据分析应用案例
9.4.1 情况介绍
9.4.2 数据介绍
9.4.3 EDA探索分析遵循银行政策情况
9.4.4 EDA探索分析懒惰的银行客户代表
9.4.5 EDA探索分析银行客户代表是否执行了有效的沟通
9.5 EDA中的指标变换形式
9.5.1 总量指标
9.5.2 相对指标
第10章 常用数据挖掘技术
10.1 决策树
10.1.1 决策树概述
10.1.2 信息熵
10.1.3 ID3算法
10.1.4 C4.5算法
10.1.5 CART算法
10.2 聚类分析
10.2.1 聚类概述
10.2.2 样本间距离
10.2.3 K-means聚类
10.2.4 群体距离
10.2.5 层次聚类
10.2.6 聚类算法的评估
10.3 关联分析
10.3.1 关联规则量化指标
10.3.2 Apriori算法
展开