第1章 生态大数据概述
　　本章导读
　　大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中获取新知识、创造新价值、提升新能力的新一代信息技术和服务业态。随着人类命运共同体、可持续发展、生态安全等全球生态环境问题成为新时期人类社会发展面临的现实问题，生态文明建设成为中华民族永续发展的千年大计，这对大数据时代生态学研究提出了新的要求。综合应用云计算、物联网、人工智能、数值模拟等信息处理技术，已成为区域、国家乃至全球尺度生态环境监测、保护与治理现代化的重要手段。以天-空-地立体生态环境监测网络为基础，建立生态大数据管理中心，加强生态大数据综合应用和集成分析，打造智慧决策的“环境大脑”，为生态环境保护科学决策提供全面支撑。
　　1.1 生态大数据的概念
　　随着全球经济的快速发展和人类活动的不断加剧，生态环境问题日益严重。目前全球性生态环境问题主要表现在环境污染、土地退化、森林锐减、生物多样性丧失、水资源枯竭以及气候变暖等方面[1，2]。中国的生态环境问题突出表现在水土流失严重、湿地面积减少、水资源短缺加剧、生物多样性减少、草原退化和土地沙化尚未得到有效遏制等方面。此外，气候变化导致中国内陆冰川冻土加剧融化、局部沙漠化、海平面上升和海水倒灌、旱涝灾害增加、农业生产受损等[3]。这些问题往往涉及尺度大、过程复杂、驱动因素众多，需要面对海量的多源异构生态环境数据，给全球生态环境问题的监测、评估和应对带来了巨大的挑战。
　　大数据是继物联网和云计算之后信息技术产业又一次重要的技术变革，该技术对于处理超出传统数据库系统存储管理和分析处理能力的多源海量数据集群，具有很大的技术优势。近年来，大数据已经在农业、经济、气象、交通、医疗、通信等领域得到了有效应用。生态学领域也逐渐认识到了大数据的优势，并开展了全球气候变化预测、生态网络观测与模拟、环境污染防控、生态环境评估等研究[3]。2016年，环境保护部发布了《生态环境大数据建设总体方案》，该方案将生态环境大数据的构建作为推动生态文明建设的重要保障措施。在大数据时代，如何基于生态大数据实现生态学理论的发展和突破，服务于新时期生态文明建设等重大问题的解决，具有重要意义[4]。
　　目前关于大数据的定义并没有达成完全的统一，一般泛指用传统方法或工作所不能处理或分析的数据信息。参考前人研究[5-7]，本书中的生态大数据是指运用大数据理念、技术和方法，解决生态环境领域数据的采集、存储、计算与应用等一系列问题，是大数据理论和技术在生态环境领域的具体应用和实践，是为生态环保决策问题提供服务的大数据集、大数据技术和大数据应用的总称。生态大数据包含了一般大数据的基本属性，同时比一般大数据表现得更为特殊，内容更为庞杂，服务需求更为专业化和多样化等。近年来，随着信息技术、网络技术和“3S”技术等相关技术的发展，生态大数据呈现出猛烈增长的势头，积累了几十年甚至上百年的数据，使得这些海量数据从存储管理到分析挖掘都面临着巨大的挑战。
　　1.2 生态大数据的特征
　　大数据是以“6V”为主要特征的数据集合，具体包括：海量规模(volume)、类型多样(variety)、高速率(velocity)、应用价值大(value)、真实性低(veracity)和易受攻击性(vulnerable)[8]。第一，数据量大。通过各种设备产生的海量数据，规模庞大，数据量从TB级别跃升到PB级别。第二，数据种类繁多。数据来源种类多样化，不仅包括传统结构化数据，还包括各种非结构化数据和半结构化数据，而且非结构化数据所占比例越来越高。第三，大数据的“快”，包括数据产生快和具备快速实时的数据处理能力两个层面。第一层面是数据产生得快。目前有的数据是爆发式产生，例如欧洲核子研究中心的大型强子对撞机在工作状态下每秒产生PB级的数据，而有的数据是涓涓细流式产生。但是由于用户众多，短时间内产生的数据量依然非常庞大，例如点击流、日志、射频识别数据、GPS位置信息等。第二层面是对数据快速、实时处理的能力强。大数据技术通过发展不同于传统的快速处理的算法，对海量动态数据进行处理分析，将它们转换为可用的有价值数据。因此，大数据对实时处理有着较高的要求，数据的处理效率决定着获得信息的能力。第四，数据价值密度低、应用价值高。众多不同数据集组成大数据集，这些数据集价值密度的高低与数据集总量的大小成反比。在大数据应用中，数据量大的数据并不一定有很大的价值，不能被及时有效处理分析的数据也没有很大的应用价值。第五，真实性低。随着社交数据、企业内容、交易与应用数据等新数据源的兴起，我们能获得的数据源爆炸式增长，这使得获得的数据具有模糊性。真实性将促使人们利用数据融合和先进的数学方法进一步提升数据的质量，从而创造更高价值。例如社交网络中的视频、语音、日志等获得的原始数据真实性差，需要我们对其进行过滤和处理才能提取出有用的信息。第六，易受攻击性。大数据的安全主要包括大数据自身安全和大数据技术安全。大数据自身安全指在数据采集、存储、挖掘、分析和应用过程中的安全，在这些过程中由于外部网络攻击和人为操作不当造成数据信息泄露，外部攻击包括对静态数据和动态数据的数据传输攻击、数据内容攻击、数据管理和网络物理攻击。大数据技术在解决生态环境问题时形成了生态大数据独一无二的特征[9]。
　　1. 生态大数据具有天-空-地立体化观测的巨大数据量
　　从数据规模来看，生态大数据体量大，数据量已从TB级别跃升到PB级别。随着各类传感器、射频识别技术(radio frequency identification，RFID)、卫星遥感、雷达和视频感知等技术的发展，数据不仅来源于传统人工观测数据，还包括航空、航天和地面自动观测数据，它们一起产生了海量生态环境数据。目前全球范围内与生态环境相关的各种观测和实验数据已累计超过百万亿兆，且数据量还在快速增加[10]。例如，2011年世界气象中心就已经积累了229 TB数据，我国林业、交通、气象和环保等的数据量级也都达到了PB级别，而且还在以每年数百TB的速度增加。
　　2. 生态大数据的类型、来源和格式具有复杂多样性
　　从数据种类来看，生态大数据类型多，数据来源渠道广，结构复杂。首先，生态环境数据来自气象、水利、国土、环保、农业、林业、交通、社会经济等不同部门的各种数据。其次，大数据技术的发展使得生态环境领域的研究不再局限于传统结构化数据类型，使得各种半结构化和非结构化数据(文本、项目报告、照片、影像、声音、视频等)的应用与分析成为可能。例如一段历史电影视频中关于气候的描述、公众手机拍摄的关于植物类别的图片等。再次，来源于不同部门的同一种数据其格式多样，目前无统一的标准规范，使得难以整合不同部门之间的同类数据。
　　3. 生态大数据需要动态新数据和历史数据相结合处理
　　从数据处理速度来看，由于生态系统结构与功能的动态变化而引起的生态环境数据具有强烈的时空异质性，生态环境数据多表现为流式数据特征，实时连续观测尤为重要。只有实时处理分析这些动态新数据，并与已有历史数据结合起来分析，才能挖掘出有用信息，为解决有关生态环境问题提供科学决策。
　　4. 生态大数据具有很高的应用价值
　　从数据价值来看，生态大数据无疑具有巨大的潜在应用价值，利用大数据技术从海量数据中挖掘出*有用的信息，把低价值数据转换为高价值数据，*终，高价值大数据为解决各种生态环境问题提供科学依据，从而改善人类生存环境和提高人们生活质量。
　　5. 生态大数据具有很高的不确定性
　　从数据真实性来看，虽然应用于生态环境领域的各种传感器监测精度都很高，但正是因为这一点，仪器往往会顺带记录大量的周边环境数据，而我们感兴趣的数据可能会埋没在大量数据中。因此，为了确保数据的精准度，需要利用大数据技术从海量数据中去伪存真，获取真实数据。
　　6. 生态大数据面临严重的安全隐患
　　很多野外观测数据需要网络传输，这就加大了被网络攻击的风险，如果涉及一些军用的生态环境数据，就可能推测到我国军方的敏感信息，后果不堪设想。随着云计算技术的发展，数据在云端的存储存在严重的安全隐患。例如美国“棱镜门”事件，就是通过云计算和大数据技术收集大量数据，其中也涵盖了各国的生态环境数据等。
　　1.3 生态大数据的主要来源
　　21世纪以来，随着网络和信息技术的快速发展，生态观测技术有了长足的进步，已逐渐从人工采集生态数据的1.0时代、由仪器设备采集并长期存储数据的2.0时代逐渐过渡到今天结合“互联网”概念的实时传输云存储的3.0时代。同时，新技术和新方法如稳定同位素、核磁共振、生物标记物、高通量基因组测序、基因芯片、涡动相关、遥感等技术的发展，极大地提升了生态环境观测从微观到宏观尺度的数据获取能力。借助物联网、云计算、大数据和人工智能等新一代信息技术，融合卫星、无人机和地面观测的天-空-地一体化生态环境观测体系逐渐形成，实现了多尺度、多要素、多过程海量生态数据的集成获取，为生态大数据的多学科应用奠定了坚实的基础。
　　1.3.1 主要来源
　　生态大数据的来源主要包括地面观测、遥感影像、遥感监测指标产品、遥感监测业务产品、遥感监测综合服务产品以及基础背景资料6大类数据及产品(表1-1)[11]。
　　表1-1 生态大数据的主要来源分析
　　1.3.2 全球生态观测网络
　　一系列全球研究计划的兴起支撑和推动了大尺度生态环境研究的快速发展[10]，如国际生物圈计划(International Biology Plans，IBP)催生了长期生态学研究网络(Long Term Ecosystem Research，LTER)；与此同时，区域/全球尺度的联网观测与实验蓬勃发展，如亚洲通量观测系统(AsiaFlux)、欧洲集成碳观测系统(Integrated Carbon Observation System，ICOS)、欧洲物候网(PEP725)、泛美全球变化研究网络(Inter-American Institute for Global Change Research，IAI)和欧洲全球变化研究网络(European Network for Research in Climate Change，EN-RICH)以及全球通量观测研究网络(FLUXNET)、国际干旱实验网络(Drought Network)等。这些联网观测和实验的目的是探索大尺度的生态环境问题，其根本目标之一是揭示单个站点所无法回答的科学问题。近年来，基于物联网、自动观测、融合地面和遥感观测形成的美国国家生态观测网络(National Ecological Observatory Network，NEON)与澳大利亚生态观测研究网络(Terrestrial Ecosystem Research Network，TERN)成为新一代大陆尺度生态观测网络的代表，使用了大量生态观测传感器，涵盖多种观测指标。这些区域/全球尺度观测、实验网络的建立为生态大数据的不断增加提供了重要平台。
　　1.3.3 对地观测大数据
　　通过飞行器搭载的传感器对地球进行观测可以获得地球全面而系统的信息。随着空间信息技术的高速发展，对地观测步入了大数据时代[12]。遥感数据的产生，弥补了传统地面调查空间尺度有限的缺点，已逐渐成为生态大数据必不可少的来源。遥感平台按观测高度可分为低空遥感和高空遥感。低空遥感主要通过无人机完成，具有机动、灵活、高效的特点。高空遥感主要通过卫星与航空完成，具有观测范围大、时间序列长、数据获取成本低等优点。经过几十年的发展，不同卫星遥感的分辨率已从公里级(MODIS)进入米级(IKONOS/OrbView)、亚米级(QuickBird/WorldView/高分2号)，且实现了不同波段的全覆盖。

目录
第1章 生态大数据概述 1
1.1 生态大数据的概念 1
1.2 生态大数据的特征 2
1.3 生态大数据的主要来源 4
1.3.1 主要来源 4
1.3.2 全球生态观测网络 4
1.3.3 对地观测大数据 5
1.3.4 公民科学的发展 5
1.4 生态大数据分析的技术方法 5
1.4.1 整合分析 5
1.4.2 数据挖掘 6
1.4.3 数据-模型融合 6
1.4.4 可视化及人机交互 7
1.5 发展历程与应用 7
1.5.1 大数据发展历程 7
1.5.2 生态大数据发展历程 9
1.5.3 主要应用 9
1.6 生态大数据的平台架构 11
1.6.1 数据采集层 12
1.6.2 数据管理层 12
1.6.3 数据运算层 13
1.6.4 服务应用层 14
1.7 面临的主要挑战与展望 14
1.7.1 主要挑战 14
1.7.2 前景展望 15
1.8 本章小结 16
参考文献 16
第2章 生态大数据管理 18
2.1 概述 18
2.1.1 生态大数据的数据密集问题 18
2.1.2 生态信息的大规模高并发访问 19
2.2 非关系型数据库NoSQL 20
2.2.1 广义列模型：Google BigTable 21
2.2.2 Key-Value模型：Amazon Dynamo 22
2.2.3 文档存储模型：MongoDB 23
2.2.4 NoSQL基本思想总结 24
2.3 关系数据库与海量异构数据存储 25
2.3.1 数据仓库 25
2.3.2 复制技术 25
2.3.3 数据切分 27
2.3.4 关系数据库和NoSQL结合方式 27
2.4 云计算平台 29
2.4.1 Hadoop架构介绍 29
2.4.2 HDFS分布式文件系统 30
2.4.3 MapReduce并行处理框架 31
2.4.4 基于Hadoop的生态数据存储框架设计 32
2.5 本章小结 33
参考文献 34
第3章 基于Google Earth Engine云平台的陆表参数变化分析 35
3.1 概述 35
3.2 GEE云平台 36
3.2.1 GEE概述 36
3.2.2 主要数据说明 39
3.3 研究区概况及分析方法 40
3.3.1 研究区概况 40
3.3.2 NDVI数据重建 41
3.3.3 时间序列分析 42
3.3.4 相关性分析 42
3.4 三峡库区土地利用与陆表参数变化特征 42
3.4.1 植被SINDVI变化时空分布特征 42
3.4.2 地表温度变化时空分布特征 43
3.4.3 反照率变化时空特征分析 45
3.4.4 土地利用变化分析 46
3.4.5 陆表参数相关分析 47
3.5 土地利用变化对关键陆表参数影响 48
3.5.1 土地利用与SINDVI研究 49
3.5.2 土地利用与地表温度研究 49
3.5.3 土地利用与反照率研究 50
3.6 本章小结 50
3.6.1 讨论 50
3.6.2 结论 51
参考文献 52
第4章 基于机器学习算法的陆地生态系统碳通量估算 55
4.1 概述 55
4.2 通量观测数据获取与处理 57
4.2.1 观测站点介绍 57
4.2.2 数据处理 57
4.3 主要机器学习方法与性能评价 59
4.3.1 机器学习方法 59
4.3.2 模型构建 60
4.3.3 性能评价 60
4.4 主要结果分析 61
4.4.1 机器学习在不同陆地生态系统中的GPP模拟 61
4.4.2 机器学习在不同陆地生态系统中的RE模拟 64
4.4.3 机器学习在不同陆地生态系统中的NEE模拟 66
4.5 讨论 68
4.5.1 机器学习模型的性能及其比较 68
4.5.2 机器学习模型在不同碳通量上的预测能力 68
4.5.3 机器学习模型在不同陆地生态系统上的预测能力 69
4.6 本章小结 69
参考文献 70
第5章 基于生态大数据的西南喀斯特地区生态恢复成效评估 74
5.1 概述 74
5.2 生态工程恢复成效研究进展 76
5.3 生态工程恢复成效评估方法 76
5.3.1 相关数据介绍 76
5.3.2 统计分析方法 79
5.4 西南喀斯特地区植被SIF时空动态分析 80
5.4.1 空间格局 80
5.4.2 年际及季节动态 80
5.4.3 空间趋势分析 82
5.5 生态工程影响评估 84
5.5.1 生态工程对区域植被SIF的影响 84
5.5.2 西南喀斯特地区植被动态影响因素 85
5.6 本章小结 86
参考文献 87
第6章 基于生态大数据的红树林湿地生态系统健康评价 91
6.1 概述 91
6.2 红树林生态系统健康评价研究进展 93
6.3 漳江口红树林湿地生态系统 94
6.3.1 漳江口红树林湿地概况 94
6.3.2 土地覆盖数据主要获取来源 95
6.4 红树林湿地生态系统健康评价方法 95
6.4.1 评价指标体系构建 95
6.4.2 指标权重计算 97
6.4.3 生态系统健康指数 97
6.5 红树林湿地生态系统变化 97
6.5.1 景观格局变化特征 97
6.5.2 湿地生态系统的压力-状态-响应健康状况 99
6.5.3 湿地生态系统健康水平的时空变化 101
6.6 红树林湿地生态系统健康变化驱动力因素分析 102
6.6.1 互花米草入侵与海平面上升的影响 102
6.6.2 养殖业扩增与海堤建设的影响 102
6.6.3 保护区建设的影响 103
6.7 本章小结 104
参考文献 104
第7章 基于生态大数据的区域生态安全诊断 106
7.1 生态安全概述 106
7.2 相关研究方法 107
7.2.1 生态足迹 109
7.2.2 生态承载力 109
7.2.3 生态赤字/盈余 109
7.2.4 生态压力指数 110
7.3 全国尺度生态安全格局分析 110
7.3.1 生态足迹分析 110
7.3.2 生态承载力分析 112
7.3.3 生态安全分析 114
7.4 河南省生态安全格局分析 115
7.4.1 人均生态足迹分析 115
7.4.2 人均生态承载力分析 117
7.4.3 人均生态赤字/盈余与生态压力指数分析 118
7.5 讨论 120
7.6 本章小结 120
参考文献 121
第8章 基于生态大数据的蔬菜重金属含量研究 123
8.1 概述 123
8.2 重金属Cd胁迫下植物高光谱技术的应用及研究进展 124
8.2.1 基本原理 124
8.2.2 高光谱遥感信息提取方法 124
8.3 常见蔬菜Cd含量的高光谱遥感分析 127
8.3.1 小白菜 127
8.3.2 辣椒 131
8.3.3 茎瘤芥 136
8.4 讨论 140
8.5 本章小结 141
参考文献 141
第9章 基于生态大数据的干旱评价及其对粮食产量的影响 143
9.1 概述 143
9.2 微波遥感观测土壤水分进展 144
9.2.1 遥感估算原理及全球产品介绍 144
9.2.2 微波遥感反演土壤水分算法研究进展 146
9.3 农业干旱监测方法 148
9.3.1 基于植被指数的干旱监测 148
9.3.2 基于植被指数和温度的干旱监测 148
9.3.3 基于土壤水分的干旱监测 149
9.4 东北地区干旱监测及其对粮食产量的影响分析 149
9.4.1 研究区及数据源 149
9.4.2 基于土壤水分的东北地区干旱程度评价 151
9.4.3 干旱程度与粮食产量的关系 155
9.5 本章小结 158
参考文献 158
第10章 基于生态大数据的植被总初级生产力估算及*新进展 161
10.1 概述 161
10.2 叶绿素荧光遥感反演进展 162
10.2.1 SIF主要获取方法及优势 162
10.2.2 SIF遥感反演算法进展 163
10.3 常用的GPP估算方法 166
10.3.1 涡度相关算法 167
10.3.2 基于遥感资料的光能利用率模型 167
10.3.3 生态过程模型估测 167
10.3.4 动态全球植被模型 168
10.4 基于SIF估算GPP的不确定性与挑战 168
10.4.1 基于SIF估算GPP的模型 168
10.4.2 基于SIF估算GPP的不确定性 170
10.4.3 机遇与挑战 171
10.5 本章小结 174
参考文献 175
第11章 基于生态大数据的越冬水禽栖息地植被动态及影响因素分析 181
11.1 概述 181
11.2 方法与数据 182
11.2.1 研究区概况 182
11.2.2 数据来源与处理 184
11.3 水禽越冬季植被覆盖季内动态变化 185
11.3.1 季内时间变化特征 185
11.3.2 季内空间变化特征 186
11.4 水禽越冬季植被覆盖年际动态变化 187
11.4.1 年际时间变化特征 187
11.4.2 年际空间变化特征 188
11.5 水文条件对植被年际动态变化的影响 190
11.6 讨论 191
11.6.1 越冬季植被覆盖动态变化的限制因素 191
11.6.2 影响水禽数量的潜在因素 193
11.7 本章小结 194
参考文献 194
第12章 基于生态大数据的洪水淹没分析与灾情评估 197
12.1 概述 197
12.2 洪水淹没研究进展 198
12.3 实验过程 201
12.3.1 研究区概况和数据预处理 201
12.3.2 洪水淹没分析方法 204
12.3.3 研究方法 206
12.4 实验讨论 208
12.4.1 实验结果 208
12.4.2 望江县洪水淹没现状 208
12.4.3 洪水灾情模型评估权重选取 209
12.5 本章小结 211
参考文献 211
第13章 基于生态大数据的西南地区极端干旱季节性响应分析 213
13.1 干旱概述 213
13.2 西南地区干旱研究进展 214
13.3 干旱的季节性研究方法 216
13.3.1 主要数据说明 217
13.3.2 研究方法介绍 219
13.4 西南地区极端干旱的季节性响应分析 221
13.4.1 地表水响应 221
13.4.2 植被响应 222
13.4.3 气象响应 224
13.5 讨论 225
13.6 本章小结 226
参考文献 226