《Python数据科学应用从入门到精通》是张甜博士和数据分析领域专家杨维忠合力打造的精心之作，现在已成为编辑推荐。本书全面介绍了Python数据分析的基本概念和技能，包括数据清洗、数据可视化、统计分析、机器学习等。重要的是，本书注重实践应用，提供了大量的实例和案例，帮助读者更好地理解和掌握所学知识。无论是经济学、管理学、统计学、金融学、社会学、医学还是电子商务等专业学生，都可以将其作为学习Python数据分析的专业教材和参考书。而对于企业和事业单位来说，本书也是数字化人才培养的教科书和工具书。同时，职场人士也可以利用本书自学，掌握Python数据分析，提升数据挖掘、分析和可视化建模能力，从而提高工作效率和改善绩效水平。
第1章 数据科学应用概述 1
1.1 什么是数据清洗、特征工程、数据可视化、数据挖掘与建模 1
1.1.1 数据清洗的概念 1
1.1.2 特征工程的概念 2
1.1.3 数据可视化的概念 4
1.1.4 数据挖掘与建模的概念 4
1.2 为什么要开展数据清洗、特征工程、数据可视化和数据挖掘与建模 4
1.2.1 数据清洗、特征工程的重要性 4
1.2.2 数据可视化的重要性 5
1.2.3 数据挖掘与建模的重要性 5
1.3 为什么要将Python作为实现工具 6
1.4 数据清洗、特征工程、数据可视化和数据挖掘与建模的主要内容 6
1.4.1 数据清洗的主要内容 6
1.4.2 特征工程的主要内容 7
1.4.3 数据可视化的主要内容 7
1.4.4 数据挖掘与建模的主要内容 8
1.5 数据清洗、特征工程、数据可视化和数据挖掘与建模的应用场景 8
1.5.1 数据清洗、特征工程的应用场景 8
1.5.2 数据可视化的应用场景 9
1.5.3 数据挖掘与建模的应用场景 10
1.6 数据清洗、特征工程和数据可视化的注意事项 14
1.6.1 数据清洗、特征工程的注意事项 14
1.6.2 数据可视化的注意事项 14
1.7 数据挖掘与建模的注意事项 15
1.8 习题 19
第2章 Python入门基础 21
2.1 Python概述 21
2.2 Anaconda平台的下载与安装 22
2.2.1 Anaconda平台的下载 22
2.2.2 Anaconda平台的安装 24
2.2.3 Anaconda Prompt (Anaconda3) 26
2.2.4 Spyder (Anaconda3)的介绍及偏好设置 26
2.2.5 Spyder (Anaconda3)窗口介绍 29
2.3 Python的注释 34
2.4 基本输出函数—print()函数 35
2.5 基本输入函数—input()函数 36
2.6 Python的保留字与标识符 37
2.6.1 Python中的保留字 37
2.6.2 Python的标识符 37
2.7 Python的变量 38
2.8 Python的基本数据类型 39
2.9 Python的数据运算符 43
2.10 Python序列的概念及通用操作 45
2.10.1 索引 46
2.10.2 切片 46
2.10.3 相加 47
2.10.4 相乘 48
2.10.5 元素检查 48
2.10.6 与序列相关的内置函数 49
2.11 Python列表 50
2.11.1 列表的基本操作 50
2.11.2 列表元素的基本操作 52
2.12 Python元组 53
2.12.1 元组的基本操作 53
2.12.2 元组元素的基本操作 55
2.13 Python字典 55
2.13.1 字典的基本操作 56
2.13.2 字典元素的基本操作 58
2.14 Python集合 60
2.15 Python字符串 61
2.16 习题 65
第3章 数据清洗 67
3.1 Python数据清洗基础 67
3.1.1 Python函数与模块 67
3.1.2 numpy模块数组 74
3.1.3 pandas模块序列 79
3.1.4 pandas模块数据框 81
3.1.5 Python流程控制语句 86
3.2 Python数据读取、合并、写入 90
3.2.1 读取、合并、写入文本文件（CSV或者TXT） 90
3.2.2 读取、合并、写入Excel数据文件 98
3.2.3 读取、合并、写入Stata数据文件 99
3.2.4 读取、合并SPSS数据文件 100
3.3 Python数据检索 102
3.4 Python数据行列处理 103
3.4.1 删除变量列、样本行 104
3.4.2 更改变量的列名称、调整变量列顺序 104
3.4.3 改变列的数据格式 106
3.4.4 多列转换 106
3.4.5 数据百分比格式转换 107
3.5 Python数据缺失值处理 107
3.5.1 查看数据集中的缺失值 108
3.5.2 填充数据集中的缺失值 109
3.5.3 删除数据集中的缺失值 113
3.6 Python数据重复值处理 115
3.6.1 查看数据集中的重复值 115
3.6.2 删除数据集中的重复值 117
3.7 Python数据异常值处理 118
3.7.1 运用3δ准则检测异常值 118
3.7.2 绘制箱图检测异常值 119
3.7.3 删除异常值 121
3.7.4 3δ准则替换异常值 122
3.7.5 1%/99%分位数替换异常值 123
3.8 Python数据透视表、描述性分析和交叉表分析 124
3.8.1 数据透视表 124
3.8.2 描述性分析 129
3.8.3 交叉表分析 132
3.9 习题 136
第4章 特征选择 138
4.1 特征选择的概念、原则及方法 138
4.1.1 特征选择的概念 138
4.1.2 特征选择的原则 139
4.1.3 特征选择的方法 139
4.2 过滤法—去掉低方差的特征 141
4.3 过滤法—单变量特征选择 144
4.3.1 卡方检验 144
4.3.2 相关性分析 146
4.3.3 方差分析（F检验） 149
4.3.4 互信息 150
4.4 包裹法—递归特征消除 151
4.5 嵌入法 152
4.5.1 随机森林算法选择特征变量 153
4.5.2 提升法算法选择特征变量 155
4.5.3 Logistic回归算法选择特征变量 156
4.5.4 线性支持向量机算法选择特征变量 158
4.6 习题 159
第5章 特征处理 161
5.1 特征归一化、特征标准化、样本归一化 161
5.1.1 特征归一化 162
5.1.2 特征标准化 164
5.1.3 样本归一化 165
5.2 特征等宽分箱和等频分箱 168
5.3 特征决策树分箱 170
5.3.1 信息熵 170
5.3.2 信息增益 170
5.3.3 增益比率 171
5.3.4 基尼指数 171
5.3.5 变量重要性 172
5.3.6 特征决策树分箱的Python实现 172
5.4 特征卡方分箱 174
5.5 WOE（证据权重）和IV（信息价值） 175
5.5.1 WOE和IV的概念 175
5.5.2 WOE的作用 176
5.5.3 WOE编码注意事项 177
5.5.4 IV的作用 177
5.5.5 为什么使用IV而不是WOE来判断特征变量的预测能力 178
5.6 WOE、IV的Python实现 179
5.6.1 载入分析所需要的模块和函数 179
5.6.2 数据读取及观察 179
5.6.3 描述性统计分析 181
5.6.4 特征变量筛选 182
5.6.5 划分训练样本和测试样本 183
5.6.6 分箱操作 184
5.6.7 画分箱图 185
5.6.8 调整分箱 190
5.6.9 将训练样本和测试样本进行WOE编码 192
5.6.10 构建Logistic模型进行预测 193
5.6.11 模型预测及评价 194
5.6.12 绘制ROC曲线，计算AUC值 196
5.7 习题 198
第 6 章 特征提取 199
6.1 无监督降维技术—主成分分析 199
6.1.1 主成分分析的基本原理 199
6.1.2 主成分分析的数学概念 200
6.1.3 主成分的特征值 201
6.1.4 样本的主成分得分 201
6.1.5 主成分载荷 202
6.1.6 主成分分析的Python实现 203
6.2 有监督降维技术—线性判别分析 210
6.2.1 线性判别分析的基本原理 210
6.2.2 线性判别分析的算法过程 212
6.2.3 线性判别分析的Python实现 212
6.3 习题 222
第 7 章 数据可视化 224
7.1 四象限图 224
7.1.1 四象限图简介 224
7.1.2 案例数据介绍 225
7.1.3 Python代码示例 227
7.2 热力图 230
7.2.1 热力图简介 230
7.2.2 案例数据介绍 231
7.2.3 Python代码示例 231
7.3 直方图 234
7.3.1 直方图简介 234
7.3.2 案例数据介绍 236
7.3.3 Python代码示例 236
7.4 条形图、核密度图和正态QQ图 242
7.4.1 条形图、核密度图和正态QQ图简介 242
7.4.2 案例数据介绍 243
7.4.3 Python代码示例 243
7.5 散点图 246
7.5.1 散点图简介 246
7.5.2 案例数据介绍 247
7.5.3 Python代码示例 249
7.6 线图（含时间序列趋势图） 255
7.6.1 线图（含时间序列趋势图）简介 255
7.6.2 案例数据介绍 257
7.6.3 Python代码示例 258
7.7 双纵轴线图 260
7.7.1 双纵轴线图简介 260
7.7.2 案例数据介绍 260
7.7.3 Python代码示例 260
7.8 回归拟合图 262
7.8.1 回归拟合图简介 262
7.8.2 案例数据介绍 263
7.8.3 Python代码示例 263
7.9 箱图 265
7.9.1 箱图简介 265
7.9.2 案例数据介绍 267
7.9.3 Python代码示例 267
7.10 小提琴图 271
7.10.1 小提琴图简介 271
7.10.2 案例数据介绍 273
7.10.3 Python代码示例 274
7.11 联合分布图 276
7.11.1 联合分布图简介 276
7.11.2 案例数据介绍 277
7.11.3 Python代码示例 277
7.12 雷达图 281
7.12.1 雷达图简介 281
7.12.2 案例数据介绍 281
7.12.3 Python代码示例 282
7.13 饼图 287
7.13.1 饼图简介 287
7.13.2 案例数据介绍 288
7.13.3 Python代码示例 289
7.14 习题 291
第8章 数据挖掘与建模1——线性回归 299
8.1 基本思想 299
8.1.1 线性回归算法的概念及数学解释 299
8.1.2 线性回归算法的优点 301
8.1.3 线性回归算法的缺点 302
8.2 应用案例 302
8.2.1 数据挖掘与建模思路 302
8.2.2 数据文件介绍 303
8.2.3 导入分析所需要的模块和函数 303
8.2.4 数据读取及观察 304
8.3 使用smf进行线性回归 305
8.3.1 使用smf进行线性回归 306
8.3.2 多重共线性检验 310
8.3.3 解决多重共线性问题 311
8.3.4 绘制拟合回归平面 312
8.4 使用sklearn进行线性回归 313
8.4.1 使用验证集法进行模型拟合 315
8.4.2 更换随机数种子，使用验证集法进行模型拟合 315
8.4.3 使用10折交叉验证法进行模型拟合 316
8.4.4 使用10折重复10次交叉验证法进行模型拟合 318
8.4.5 使用留一交叉验证法进行模型拟合 318
8.5 习题 319
第9章 数据挖掘与建模2——Logistic回归 320
9.1 基本思想 320
9.1.1 Logistic回归算法的概念及数学解释 320
9.1.2 “分类问题监督式学习”的性能度量 321
9.2 应用案例 327
9.2.1 数据文件介绍 327
9.2.2 导入分析所需要的模块和函数 327
9.2.3 数据读取及观察 328
9.3 描述性分析 330
9.4 数据处理 332
9.4.1 区分分类特征和连续特征并进行处理 332
9.4.2 将样本全集分割为训练样本和测试样本 333
9.5 建立二元Logistic回归算法模型 334
9.5.1 使用statsmodels建立二元Logistic回归算法模型 334
9.5.2 使用sklearn建立二元Logistic回归算法模型 339
9.5.3 特征变量重要性水平分析 342
9.5.4 绘制ROC曲线，计算AUC值 345
9.5.5 计算科恩kappa得分 346
9.6 习题 347
