中国工程院院士 高金吉、倪光南 等多位专家荐读
14个工业企业案例,均来自企业真实案例
本书既具有国际性理论高度,也具备面向中国工业企业的实操性
本书既具有国际性理论高度,也具备面向中国工业企业的实操性
参与本书编著的作者均为国内各企业的数据治理专家,所有案例均为企业的真实实践
《数据治理:工业企业数字化转型》是一本全面关注工业企业数据治理方面的工具书,主要内容分为概述篇、体系篇、工具篇、实施篇及案例篇。
其中概述篇主要介绍工业企业数据治理的基础概念、主流数据治理标准及框架、数据治理的发展趋势等;
体系篇主要介绍数据管控、数据战略、数据架构、主数据管理等的基本原理与管理体系;
工具篇主要介绍主数据管理工具、数据模型管理工具、数据资产运营工具等;
实施篇主要介绍具体实施策略及路径选择、顶层架构规划与设计、数据资产运营实施等;
案例篇主要介绍电力、能源化工、钢铁、制造、战略投资等行业的数据治理案例,为读者提供专业、丰富、可信的数据治理实施范例。
《数据治理:工业企业数字化转型》是工业大数据应用技术国家工程实验室多年潜心研究的重要科研成果的总结和凝聚,既具有理论高度,也具备面向中国工业企业的可实操性。参与本书编著的作者均为国内各企业的数据治理专家,所有案例均来自这些企业的实践。
对企业的基层管理者或初入职场的人士来说,本书是充分认识数据治理意义、组织进行数据治理的具体方案和工具手册;对企业中层管理者来说,本书是一本配合企业数据治理的纲领性指南;对企业高层管理者来说,本书是一本推动企业数据治理的方法论。本书还适合作为高校的MBA、EMBA教材。
第1篇 概述篇
第1章 工业企业需要数据治理 2
1.1 工业革命的演变与发展趋势 2
1.2 工业大数据是第四次工业革命的核心基础 4
1.3 各国的工业大数据战略 6
1.4 工业企业数据的核心价值 7
1.5 我国各行业数据治理现状 10
1.6 数据治理是工业大数据的基础 12
1.7 工业企业数据治理面临的挑战 12
本章精要 14
第2章 工业企业数据治理概述 15
2.1 数据治理的相关概念和定义 15
2.2 数据的分类 17
2.3 数据治理的顶层架构 20
2.4 数据治理的核心内容 21
本章精要 22
第3章 主流数据治理标准及框架介绍 23
3.1 国际标准 23
3.2 国内标准及模型 24
3.3 专业组织 26
3.4 国内外数据治理体系的对比分析 28
本章精要 30
第4章 数据治理的发展趋势 31
4.1 国内外数据治理的演变与发展 31
4.2 数据隐私保护政策 32
4.3 区块链与数据共享 33
4.4 5G技术与数据安全 38
4.5 数据文化与伦理道德 39
4.6 新技术与数据治理 40
4.7 工业企业数据的运营 41
本章精要 43
第5章 本书阅读导引 44
5.1 数据治理是一个系统工程 44
5.2 工具是数据治理的保障 45
5.3 实施数据治理有路线可循 45
5.4 数据治理已在诸多行业成功实施 46
参考资料 47
第2篇 体系篇
第6章 数据管控 51
6.1 数据管控概述 51
6.2 组织架构 53
6.2.1 数据治理组织架构 53
6.2.2 数据治理组织模式 55
6.2.3 数据治理职责分工 58
6.3 制度规范 61
6.3.1 数据治理制度框架 61
6.3.2 数据治理制度修订 64
6.4 执行流程 65
6.4.1 数据治理总体流程框架 65
6.4.2 数据治理典型场景的流程 67
6.5 设计机制 70
6.6 绩效体系 72
6.7 标准体系 74
本章精要 76
第7章 数据战略 77
7.1 数据战略概述 77
7.2 数据战略规划 77
7.2.1 愿景和目标 78
7.2.2 基本原则 79
7.2.3 战略举措选择 80
7.2.4 模型工具 81
7.3 数据战略实施 82
7.3.1 实施策略 83
7.3.2 实施路径 83
7.3.3 实施步骤 83
本章精要 87
第8章 数据架构 88
8.1 数据架构概述 89
8.2 框架设计 90
8.2.1 数据分布 90
8.2.2 数据主题域 92
8.2.3 数据关联关系 93
8.3 数据建模 98
8.3.1 概念数据模型 99
8.3.2 逻辑数据模型 100
8.3.3 物理数据模型 101
8.3.4 数据模型开发方法 102
本章精要 105
第9章 主数据管理 106
9.1 主数据和主数据管理 106
9.1.1 主数据的特征 106
9.1.2 主数据管理的基本概念 107
9.2 主数据标准管理 108
9.3 主数据全生命周期管理 109
9.4 主数据应用管理 110
9.5 企业常用的几类主数据 112
9.5.1 物料主数据 112
9.5.2 设备主数据 113
9.5.3 资产主数据 114
9.5.4 财务主数据 115
9.5.5 组织机构和员工主数据 116
本章精要 116
第10章 元数据管理 117
10.1 元数据的定义 117
10.2 元数据分类 117
10.2.1 业务元数据 118
10.2.2 技术元数据 119
10.2.3 操作元数据 120
10.3 元数据核心能力 120
10.4 元数据的价值 123
本章精要 124
第11章 数据指标管理 125
11.1 数据指标管理概述 125
11.1.1 数据指标应用和管理中的挑战 125
11.1.2 设计目的 126
11.1.3 设计思路 126
11.2 体系框架 128
11.2.1 典型的数据指标定义框架 128
11.2.2 指标选取原则及方法 129
11.2.3 指标体系层级设计 130
11.2.4 指标体系评价方法 131
11.3 找指标 132
11.4 理指标 134
11.5 管指标 136
11.6 用指标 137
本章精要 137
第12章 时序数据管理 138
12.1 时序数据管理概述 138
12.2 时序数据的特点 139
12.3 时序数据的应用 141
12.3.1 技术挑战 141
12.3.2 典型的技术架构及特点 142
12.3.3 系统核心功能 143
本章精要 143
第13章 数据质量管理 144
13.1 数据质量需求 144
13.2 数据质量检查 145
13.3 数据质量分析 146
13.4 数据质量提升 147
13.5 数据质量评估 149
13.5.1 数据质量问题的起因 150
13.5.2 数据质量管理技术指标 151
13.5.3 数据质量管理业务指标 152
本章精要 153
第14章 数据安全管理 155
14.1 数据安全管理概述 155
14.2 数据安全体系框架 156
14.3 数据安全防护策略 159
14.4 数据安全审计 161
14.5 数据安全风险评估 162
14.6 数据应急保障 164
本章精要 165
第15章 数据交换与服务 166
15.1 数据交换与服务的意义 167
15.2 数据交换与服务技术演进 168
15.2.1 文件共享技术 168
15.2.2 数据库中间表技术 168
15.2.3 点对点接口技术 168
15.2.4 消息队列技术 170
15.2.5 企业服务总线交换技术 171
15.2.6 ETL 数据交换技术 173
15.2.7 物联网数据采集交换
技术 173
15.3 工业企业数据交换与服务标准体系架构 175
15.3.1 CPS信息交换模型 176
15.3.2 设备互联总线 177
15.3.3 应用互联总线 178
15.3.4 数据总线 179
15.3.5 开放互联API网关 181
本章精要 182
第16章 数据共享与开放 183
16.1 共享与开放概述 183
16.2 数据资源目录 185
16.3 数据资源准备 186
16.3.1 数据采集 186
16.3.2 数据加工 187
16.3.3 数据保密 187
16.3.4 数据装载 189
16.3.5 数据发布 189
16.4 数据服务 190
16.5 共享与开放评价 190
本章精要 191
第17章 数据管理成熟度评估 192
17.1 数据管理成熟度评估模型 192
17.2 数据管理成熟度等级定义 195
17.3 开展数据管理成熟度评估 198
17.4 数据管理成熟度评估实施 199
本章精要 200
参考资料 200
第3篇 工具篇
第18章 数据治理工具概述 203
第19章 数据资产运营工具 207
19.1 数据资产目录 207
19.1.1 总体概述 208
19.1.2 数据资产目录系统构建 208
19.1.3 数据资产目录能力评估模型 210
19.2 数据资产价值评估 213
19.2.1 总体概述 213
19.2.2 数据资产价值评估模型 214
19.2.3 数据资产价值评估工具 223
本章精要 224
第20章 数据模型管理工具 225
20.1 数据模型管理工具概述 225
20.2 企业级数据模型管控 226
20.3 数据标准管控 228
20.3.1 标准的发布和工具访问 228
20.3.2 模型设计中的应用数据
标准 228
20.3.3 数据标准应用情况的自动检核 229
20.3.4 自定义标准的发布管理 229
20.4 数据字典的质量检核 230
本章精要 230
第21章 数据指标管理工具 231
21.1 指标库管理 231
21.2 指标体系管理 232
21.3 指标评价管理 233
21.4 指标应用管理 234
本章精要 235
第22章 主数据管理工具 236
22.1 主数据提取与整合 236
22.2 主数据模型管理 237
22.3 主数据清洗管理 238
22.3.1 主数据清洗的内容 239
22.3.2 主数据清洗的一般过程 239
22.4 主数据全周期管理 242
22.5 主数据质量管理 244
22.6 主数据发布与共享 246
本章精要 248
第23章 元数据管理工具 249
23.1 元数据管理工具概述 249
23.2 元数据在数据架构管理中的应用 250
23.3 元数据在数据资产目录中的应用 251
23.4 元数据在主数据管理中的应用 251
23.5 元数据在数据交换和共享中的应用 251
23.6 元数据在大数据平台中的应用 252
本章精要 253
第24章 时序数据处理工具 254
24.1 通用大数据处理工具的不足 254
24.2 时序数据处理工具应具备的功能和特点 255
24.3 时序数据的采集 257
24.4 时序数据处理工具 258
本章精要 260
第25章 数据质量管理工具 261
25.1 数据质量管理工具概述 261
25.2 数据质量稽核规则设置 262
25.3 数据质量任务管理 263
25.4 数据质量报告 264
本章精要 264
第26章 数据交换与服务工具 265
26.1 数据交换与服务工具概述 265
26.2 数据采集 266
26.3 数据交换 268
26.3.1 前置交换子系统 268
26.3.2 交换传输子系统 269
26.3.3 交换管理子系统 269
26.4 数据加工服务 269
26.5 数据共享服务 271
26.6 工业大数据技术平台 272
26.6.1 工业大数据的采集 272
26.6.2 工业大数据的交换 274
26.6.3 工业大数据的处理 275
本章精要 277
第27章 数据安全管理工具 278
27.1 数据安全管理工具概述 278
27.2 数据采集安全管理工具 279
27.2.1 数据分类与分级工具 279
27.2.2 采集内容及策略 279
27.2.3 数据采集人员管理工具 280
27.2.4 数据源鉴别及记录 280
27.3 数据传输安全管理工具 280
27.3.1 加密算法 281
27.3.2 对称加密 281
27.3.3 非对称加密 282
27.4 数据存储安全管理工具 282
27.4.1 数据存储介质管理 283
27.4.2 数据存储安全 283
27.4.3 数据备份和恢复 283
27.4.4 等级划分 284
27.5 数据处理安全管理工具 285
27.6 数据交换安全管理工具 286
27.6.1 数据导入/导出的安全保障 287
27.6.2 数据交换安全 287
27.6.3 数据销毁安全管理 288
27.7 统一的身份认证系统 289
本章精要 290
第28章 数据中台 291
28.1 数据中台的概念和定位 291
28.2 数据采集 293
28.2.1 数据采集方式 293
28.2.2 通用数据采集 293
28.2.3 流式数据采集 293
28.3 数据存储 294
28.3.1 分布式数据存储 294
28.3.2 NoSQL数据存储 294
28.4 数据计算 294
28.4.1 分布式查询 295
28.4.2 分布式计算 295
28.4.3 数据建模 295
28.4.4 数据分析 296
28.5 数据服务 296
28.5.1 API网关 297
28.5.2 API生成 298
28.5.3 API发布 298
28.5.4 API调用申请 298
28.5.5 API调用审核 298
28.5.6 API信息支持 298
28.5.7 API服务监控 299
28.6 从ETL向ELT转变 299
本章精要 300
参考资料 300
第4篇 实施篇
第29章 数据治理实施策略和路径选择 303
29.1 实施内容 303
29.2 路径选择 304
第30章 数据治理顶层架构规划与设计 307
30.1 实施内容 307
30.2 步骤和方法 309
30.2.1 顶层设计总体思路 309
30.2.2 数据治理顶层设计要点 311
30.3 成熟度评估 322
本章精要 324
第31章 数据资产运营实施 325
31.1 实施内容 325
31.2 步骤和方法 327
本章精要 328
第32章 主数据管理实施 329
32.1 实施内容 329
32.2 步骤和方法 329
32.2.1 实施步骤 329
32.2.2 实施方法 331
本章精要 336
第33章 元数据管理实施 337
33.1 实施内容 337
33.2 步骤和方法 337
本章精要 340
第34章 数据指标管理实施 341
34.1 实施内容 341
34.2 步骤和方法 342
34.3 模板 344
34.3.1 数据指标项定义 344
34.3.2 形成指标卡片及指标模板 345
34.3.3 数据需求规划 346
本章精要 347
第35章 数据质量管理实施 348
35.1 实施内容 348
35.2 步骤和方法 349
35.2.1 数据剖析 349
35.2.2 数据质量诊断 350
35.2.3 数据处理规则 351
35.2.4 数据质量优化 351
35.2.5 数据质量监管 352
35.2.6 实施数据质量管理时需注意的问题 353
本章精要 354
第36章 数据安全管理实施 355
36.1 实施内容 355
36.2 实施步骤 355
36.3 实践模式 358
36.3.1 数据安全管理的建设策略 358
36.3.2 数据安全管理的切入方式 359
36.3.3 工业互联网云平台的数据安全 359
本章精要 360
第37章 数据治理常见误区 361
参考资料 363
第5篇 案例篇
第38章 电力行业:夯实数字化转型基础——南方电网数据资产管理行动实践 365
第39章 电力行业:支撑集团产业数字化转型——国家电投集团数据治理实践 380
第40章 能源化工行业:数据治理助百年油企数字化转型 398
第41章 钢铁行业:酒钢集团数据治理实践 413
第42章 汽车行业:数据驱动长安汽车数字化转型 420
2
第43章 核工业:物料主数据治理助力核电智慧运营 433
第44章 航空行业:军工企业的“三位一体”数据治理体系建设实践 441
第45章 航空行业:面向航空装备研制生产的数据治理研究与实践 456
第46章 重型装备制造行业:数据标准,装备中国——中国一重的数据标准化管理项目 468
第47章 交通物流行业:主数据治理助力中国外运数字化转型 477
第48章 建材行业:中国建材集团工业大数据应用实践 490
第49章 制造行业:威孚集团基于斯欧应用互联平台建设数据通道 501
第50章 战略投资行业:国投集团的数据标准化管理实践 514
第51章 多元化集团:数据治理助力多元化企业集团管控 532
附录A 工业英文缩写术语表 545
本书较好地满足了读者理解工业大数据治理框架的需要,系统地阐述了工业大数据治理的体系、工具、实施等诸方面,提出和分析了主要类别工业大数据治理的解决方案;通过对典型行业工业大数据治理实践的考察,深入浅出地介绍了当今主流的工业大数据技术与平台。本书具有可参照性、可操作性和可读性,是工业大数据治理领域少见的参考书,值得一读。
中国工程院院士、中国工业互联网研究院技术专家委员会主任,高金吉
数据是企业的核心资产,要加大数据治理工作的力度,建立数据资产化管理体系,明确数据采集和管理职责,制定统一的数据标准,搭建集成、统一的数据管理平台,实现数据的资产化、集中化、平台化管理,确保数据的及时性、准确性和完整性,提高数据集成共享能力,充分挖掘数据资产价值,夯实数字化转型基础。本书结合工业大数据、区块链、移动互联、人工智能等前沿技术,在数据治理和数据共享交换等方面为企业提供相关的建议和技术指南,值得有志于数据治理技术研究与应用的企业和个人一读。
中国工程院院士、中国科学院计算技术研究所研究员,倪光南
本书借助国内工业大数据领域的国家工程技术研究平台——工业大数据应用技术国家工程实验室在工业大数据、工业数据治理等方面的技术积累和研究能力,对工业企业数据治理体系进行了系统、深入的阐释,展示了工业企业大数据治理、大数据应用、大数据管理的基础理论和实践体系,是一本值得工业界同仁认真研读的专业性指导图书。
国家信息中心信息化和产业发展部主任、国家大数据发展专家咨询委员会秘书长,单志广
随着信息化技术的演进,网络技术的进步和应用的普及,产生了海量的数据。这些海量数据的生成为智能化技术的发展奠定了基础,也是经济、社会发展的新的契机,同时也带来了新的挑战,比如如何利用与开发数据?如何保护个人隐私?数据的所有权与数据共享的平衡点到底在哪里?数据作为资产如何确权?数据治理是一个难题也是一个迫切需要解决的问题。而当前工业互联网发展方兴未艾。本书的出版就像一场及时雨,它系统地回答了人们关心的一些问题,比如工业企业数据治理的核心价值、概念,以及主要内容、标准和框架等,是值得认真阅读和研究的图书。阅读本书可以给人以启发和思考,有利于指导我们的实际工作,有效提高工业企业数据治理的水平,促进工业互联网和智能制造产业的发展。
中国互联网协会副理事长、国家计算机网络与信息安全管理中心原主任,黄澄清
国际上的普遍共识是:数据是数字经济和第四次工业革命的新生产要素。智能制造、工业互联网、互联工业等各类名词,虽然阐述的角度有所不同,但共同点都是数据驱动与传统行业机理、知识相结合而形成的智能化发展,而实现这一智能化转型的重要基石是数据治理。从全球看,数据治理还处在起步的阶段,从技术、商业到法律都还面临一系列的挑战,而工业数据的治理更是任重道远,亟需实现从理论到实践的突破。本书对工业企业的数据治理进行了系统阐述,几乎涵盖了数据治理的各个方面,既有理论层面的分析,也有实战经验的总结,可以指导工业企业建立健全工业数据治理体系,为更好释放数据生产要素的价值,实现数字化、智能化升级奠定坚实基础。
中国信息通信研究院副院长、工业互联网产业联盟秘书长,余晓晖
数据不仅是新生产要素,也是新生产力——数据生产力。数据生产力是在用“数据+算力+算法”定义世界,是知识创造者借助智能工具,基于能源、资源及数据这一新生产要素,构建的一种认识、适应和改造自然的新能力。今天人们对数据的价值创造、运行规律和本质特征的认知才刚刚开始。本书是对工业数据治理的理念、路径、方法进行的一次全面系统的探索和研究,有很多独到的见解,对数字化工作者具有非要重要的启示意义。
阿里研究院副院长、数字化企业研习社副理事长、中国信息化百人会执行委员,安筱鹏
本书对工业数据治理的对象、主题、框架和方式等进行分析,使读者认识到数字经济时代数据流动的重要性和巨大意义。从国内、国际标准、工具、最佳实践等多方面进行阐述,详细介绍工业数据治理的方式、方法及数据治理策略,通过典型的实际案例,分析验证工业数据治理体系,使得该书具有较大的理论意义和应用推广价值。
中国科学技术大学计算机科学与技术学院院长、IEEE Fellow、
ACM Fellow、ACM杰出科学家,李向阳
本书以国际视角对数据治理的发展、演变及工业领域的实际应用进行阐述,涵盖了数据治理的方方面面,可以指导工业企业从无到有地建立健全工业数据治理体系,全面支撑高质量的工业数据分析与应用。本书对企业数据治理具有指导作用。
美国密歇根州立大学计算机系系主任及
大学基金讲席教授、IEEE Fellow、ACM Fellow,刘云浩
工业互联网是 5G 最主要的应用领域之一,它将开创一个万物互联的时代,物均流量将是消费互联网人均流量的几百倍,连接数量也会从50亿发展到千亿级水平。数据量的爆增将会带来云计算、大数据技术架构的新一轮转变,同时现有的数据治理模式也会受到严重挑战。本书从体系架构到治理工具,从实施路径到具体案例,给我们提供了不可多得的经验分享与专家意见。希望读者能够从中得到启发,制定出适合工业企业数据治理的发展规划。
中国联通大数据首席科学家,范济安
在数字化工业中,如果说数据是原油,那么数据治理则是输油管、炼油厂、储油库。数据治理实现了数据服务的互通、互信、互惠,使数据真正发挥价值。本书从工业企业数字化转型的战略和需求出发,系统地阐述了工业数据治理的要素、体系、工具和实施,通过大量案例介绍实战经验。本书视野宽广、立足前沿、内容翔实、深入浅出,是工业企业数字化转型的决策者、实施者和研究者难得的参考书。
哈尔滨工业大学人工智能研究院院长、
IEEE Fellow、ACM杰出科学家,刘劼
本书融合了国内外数据治理的权威理论和技术体系,涵盖了工业企业数字化转型过程中所需要的数据治理技术架构、实施路径和参考案例,可以有效指导工业企业全方位开展高质量的数据治理,是企业培训、员工培养的必备图书。
华中科技大学电子信息与通信学院院长、IEEE Fellow,邱才明
本书是《DAMA数据管理知识体系指南(原书第2版)》在泛工业企业领域实践落地的典范图书,具有很强的实操性和指导性,是数据管理从业人员的必备图书。
国际数据管理协会(DAMA)中国分会主席,汪广盛