刘英华，1975年出生，女，博士，副教授。研究方向：数据挖掘、隐私保护、数字媒体。已出版专著《Java2程序设计》、《数字媒体传播实务》和《基于数据发布的隐私保护模型研究》。

先后发表学术论文30余篇，参与国家自然科学基金面上资助项目“基于大规模复杂结构知识库的知识发现机理、模型与算法研究”和“基于多关系的模糊认知图挖掘模型、算法与评价机制研究”。

《数据新闻实战》紧密围绕数字媒体环境下新闻工作者在数据新闻制作中的实际需求，基于案例全面介绍了数据新闻制作的流程。《数据新闻实战》理论和实践结合，内容包括数据新闻的概念和制作流程，公开数据的获取、申请和搜索方法，数据转换和存储方法，“脏数据”的成因及其表现形式，常见的数据清理和分析工具，基于OpenRefine环境清理“脏数据”的过程和方法，数据清理原则，数据合理性分析，缺失数据的预测和时间序列预测等。《数据新闻实战》同时阐明了数据可视化的概念，详细介绍了Tableau制作数据新闻的方法和技巧，最后介绍了其他常用的数据新闻制作工具。

《数据新闻实战》通俗易懂、结构严谨、层次清晰、案例丰富，特别适合网络编辑、新媒体记者、大中专院校相关专业师生阅读，有一定工作经验的数据新闻工作者也可以从《数据新闻实战》中学习到大量高级实用的功能和技巧。

数据新闻制作入门级工具

图片、音频和视频编辑工具。数据新闻中往往包含多媒体信息，对新闻图片处理的常用操`作包括裁剪照片；加光和减光，即将照片的局部加黑或增亮；修掉照片上由于洗印、扫描、打印而产生的污点Excel 是所有数据新闻工作者必须掌握的一个入门级数据分析工具。它用于对数据做简单的清理，如使用函数、分类汇总清理重复记录（案例参见本书3.6.1 小节“查找重复记录”），使用函数删除多余空格、转换数据类型等，使用分类汇总、排序、数据透视表等完成初步数据分析。

可视化工具Tableau。Tableau 是一个数据发现、数据分析和数据叙事的数据可视化平台，是数据新闻工作者的入门可视化工具。Tableau 将数据运算与美观的图表完美地结合在一起。它方便地实现了数据连接，无需编程就可以创建地图、条形图、散点图和其他图形，还可以制作数据地图等。

可视化工具Datawrapper。Datawrapper 是一个在线工具，它可以帮助用户创建交互式数据可视化。这是一个开源工具，能在几分钟内创建可嵌入的图标。因为它是开源的，任何人都可以贡献代码，软件会不断改进。它还包含一个非常棒的图表库，可以查看其他人使用Datawrapper 完成的作品。

2．数据新闻制作高级工具

爬虫编写工具Python。Python 是一种面向对象、语法简洁、大小写敏感的解释型计算机程序设计语言。它完全免费，简单易学。如果完成同一个任务，假设用C 语言要编写1000 行代码，用Java可能只需要编写100 行，而用Python 可能只需要编写20 行。读者可以到官方网站1下载程序并安装，有很多文档资源也可以在官方网站上找到。制作数据新闻时经常使用Python 语言编写爬虫程序，从其他网站抓取数据。对数据新闻工作者来说，学习Python 语言的难点是理解正则表达式，可以参考本书3.3.13 小节“正则表达式”。

数据分析工具SPSS。SPSS（Statistical Product and Service Solutions）是世界上最早的统计分析软件之一，它是一个专业级的统计分析、数据挖掘、预测分析和决策支持任务的软件产品。数据新闻制作中经常使用SPSS 实现专业级统计分析和统计图标。有时候获取的数据存在乱码，导入SPSS中再导出即可完美解决该问题。例如，本书2.5.4 小节“结构化信息表格化”中使用import.io 下载抓取CSV 的文件有乱码，就可以用上述方法解决。

数据分析工具R 语言。R 语言是用于统计分析、绘图的语言和操作环境。R 语言属于GNU 系统，是完全免费而且源代码开放的软件，数据新闻制作时经常使用R 语言进行统计计算、数据分析和统计制图。

数据可视化工具D3.js。JavaScript 是一种直译式脚本语言，而D3.js 是一个JavaScript 库，可以通过数据来操作文档。D3.js 通过使用HTML、SVG 和CSS 把数据鲜活、形象地展现出来。D3.js 严格遵循Web 标准，所以其开发的程序兼容主流浏览器。数据新闻制作时经常使用D3.js 编写代码，实现在网络上呈现数据的可视化效果，如使用D3.js 制作动态图表和漂亮的动态网页地图等。学习D3.js 对非IT 人士的确是个挑战，但ECharts2完美地解决了这个问题。ECharts 开源来自百度商业前

端数据可视化团队，基于HTML5 Canvas，是一个纯JavaScript 图表库，提供直观、生动、可交互、可个性化定制的数据可视化图表。用户可以简单修改代码完成数据可视化，内容详见本书6.1 节“图表绘制工具库ECharts”。

第1 章 数据新闻概述1

1.1 数据新闻的概念2

1.2 制作数据新闻8

1.2.1 人才需求9

1.2.2 技术需要10

1.2.3 制作流程11

1.3 数据新闻奖（DJA）获奖作品12

第2 章 获取数据22

2.1 政府、国际组织与第三方机构的公开数据23

2.2 政府信息公开数据的申请26

2.3 众包搜集数据29

2.4 搜索引擎的使用30

2.4.1 搜索指令30

2.4.2 百度搜索工具33

2.4.3 百度高级搜索页面34

2.5 数据存储34

2.5.1 PDF 格式转换为Excel 格式35

2.5.2 在线转换工具Zamzar 37

2.5.3 浏览器插件38

2.5.4 结构化信息表格化40

2.5.5 批量下载文件42

2.6 综合案例44

2.6.1 使用联合国数据库44

2.6.2 获取北京市2014 年常住人口数量46

第3 章 清理和分析数据49

3.1 “脏数据”（Dirty Data）50

3.1.1 “脏数据”的成因50

3.1.2 “脏数据”的表现形式51

3.2 数据清理/分析工具52

3.3 清理“脏数据” 53

3.3.1 安装OpenRefine 环境53

3.3.2 创建项目（导入数据）55

3.3.3 主界面56

3.3.4 归类（Facet）57

3.3.5 文本过滤器（Text filter）63

3.3.6 编辑单元格（Edit cells）64

3.3.7 编辑列（Edit column）66

3.3.8 变换（Transpose）68

3.3.9 排序（Sort）70

3.3.10 视图（View）71

3.3.11 导出（Export）71

3.3.12 函数72

3.3.13 正则表达式77

3.4 使用Excel 简单分析数据81

3.4.1 常用函数81

3.4.2 筛选84

3.4.3 数据透视表（PivotTable）85

3.4.4 在透视表里做筛选86

3.5 数据清理原则87

3.6 综合案例87

3.6.1 查找重复记录87

3.6.2 使用OpenRefine 清理数据90

第4 章 数据质量分析102

4.1 数据合理性103

4.1.1 内部合理性104

4.1.2 外部合理性109

4.2 游程检验112

4.3 抽样分析113

4.4 缺失数据的预测115

4.5 时间序列预测117

4.5.1 移动平均117

4.5.2 指数平滑119

4.5.3 回归122

第5 章 数据分析及可视化工具应用124

5.1 数据可视化125

5.2 数据可视化工具125

5.3 Tableau 下载和安装128

5.4 创建第一个可视化作品131

5.4.1 首次数据连接131

5.4.2 首次创建多种图表132

5.4.3 首次创建仪表板135

5.4.4 首次输出136

5.5 连接数据138

5.5.1 在图表中查看数据138

5.5.2 简单数据连接139

5.5.3 连接多个数据源141

5.5.4 连接一个数据源的多个表143

5.5.5 提取数据144

5.5.6 数据类型146

5.6 数据视图146

5.6.1 工作表和工作簿147

5.6.2 数据视图界面148

5.6.3 文本表、压力图和突出显示表149

5.6.4 条形图150

5.6.5 线图157

5.6.6 地图163

5.6.7 饼图166

5.6.8 树地图169

5.6.9 填充气泡图170

5.6.10 甘特图171

5.6.11 散点图173

5.6.12 双组合图和面积图175

5.6.13 盒须图179

5.6.14 标靶图180

5.7 高级分析182

5.7.1 函数182

5.7.2 聚合184

5.7.3 注释184

5.7.4 计算186

5.7.5 简单预测194

5.7.6 合计194

5.7.7 参数196

5.7.8 分层199

5.7.9 分组200

5.7.10 “页面”功能区201

5.7.11 数据桶和直方图203

5.7.12 背景图像204

5.8 仪表板206

5.8.1 创建仪表板206

5.8.2 布局容器210

5.8.3 编辑仪表板211

5.8.4 仪表板和工作表212

5.8.5 操作213

5.9 故事219

5.10 作品发布221

5.10.1 工作簿和工作表221

5.10.2 发布222

5.10.3 打印223

5.11 Tableau 作品225

5.11.1 Is Your Country Good at Reducing CO2 Emissions 225

5.11.2 Cabs in NYC 227

5.11.3 Analysis of Twitter Hashtags Following the Paris Attacks 228

第6 章 其他数据新闻制作工具231

6.1 图表绘制工具库ECharts 232

6.1.1 获取ECharts 232

6.1.2 绘制一个简单的图表232

6.1.3 编辑图表234

6.1.4 图表中的地图237

6.2 标签云241

6.2.1 标签云制作工具Tagul 242

6.2.2 标签云制作工具Tagxedo 245

6.3 关系图制作工具PeoplePlotr 249

6.4 语义万维网服务Open Calais 257

6.5 HTML5 网站制作模板261