[发明专利]一种流域边缘端多源异构生态环境大数据集成方法及系统

说明书

本发明公开了一种流域边缘端多源异构生态环境大数据集成方法及系统，涉及数据集成技术领域，包括以下步骤：数据获取步骤：获取边缘端各个边缘节点的数据；边缘节点数据库建立步骤：将各个边缘节点的数据按照对应的标准来构建数据库，得到各个边缘节点对应的数据库；数据库交互步骤：将各个边缘节点对应的数据库按照混合式交换架构进行数据的传递和交互；异构结构数据源集成步骤：将各个边缘节点的数据库内的异构数据源集成到一起，使用户以透明的方式访问这些数据源。本发明实现了数据的智慧感知、自动识别与网络融合，推进了多源异构数据协同共享。

技术领域

本发明涉及数据集成技术领域，尤其涉及一种流域边缘端多源异构生态环境大数据集成方法及系统。

背景技术

基于云的数据管理为大数据时代的发展提供了支持，国内外许多学者开展了关于生态环境大数据技术的研究，生态环境大数据也在不断建设当中，在快速、高效分析、提取和利用实时产生、类型多样的环境大数据时，充满了挑战，在数据存储及传输等方面存在压力大、时延高等问题。

西班牙维尔瓦大学Cravero等(2018)提出了一种水资源管理大数据体系架构，并针对近年来水资源管理中普遍使用大数据的问题，分析相应特点，提出了几种解决方案。澳大利亚科廷大学Nimmagadda等(2017)建立了岩石圈-大气-生物圈-水圈复合生态系统(LABHE)的数据模型来描述自然界的循环系统，利用非结构化大环境数据源及其在自然界中存在的异常描述各种构造、计算模型，并集成到仓库方法中，以计算环境元数据并在不同的知识域中对其进行解释，指出大数据模型和综合框架有助于环境探索者规划和管理全球环境资源。悉尼大学Yu等(2012)利用矩阵估计算法解释并跟踪用户的查询脚本，从不同来源检索数据，并将它们集成到矩阵估计中，用于集群并行计算。

我国学者张万顺、王永桂等(2016)基于环境大数据的数据特点和不同层次的组织管理特征，构建了满足各级管理部门需求，高效利用环境大数据的数据中心。谢超颖等(2018)对清潩河流域尺度多目标多部门水环境数据库构建的关键技术进行研究，发展了包括数据库规范设计、要素编码设计、图层及属性表设计、多目标数据库索引设计等技术在内的多源海量异构的多部门数据整合技术，多部门矢量数据与栅格数据无缝拼接技术及一键入库技术等。熊丽君等(2019)对大数据技术在生态环境领域的应用作了综合分析，指出中国仍处于起步阶段，应有效集成多领域生态环境监测数据，提升数据处理技术能力，推进大数据应用。张毅等(2019)、刘丽香等(2017)指出生态环境大数据将有助于全面提高生态环境治理的综合决策水平，但在数据共享和开放、应用创新、数据管理、技术创新和落地、专业人才培养和资金投入等方面还面临着重重挑战，提出了生态环境大数据未来的发展应向各类生态环境数据的标准化、建设生态环境大数据存储与处理分析平台和推动国内外生态环境大数据平台的对接等方向发展。传统的云数据存储及传输存在压力大、时延高等问题。

因此，提出一种流域边缘端多源异构生态环境大数据集成方法及系统，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种流域边缘端多源异构生态环境大数据集成方法及系统，实现了数据的智慧感知、自动识别与网络融合，推进了多源异构数据协同共享。

为了实现上述目的，本发明采用如下技术方案：

一种流域边缘端多源异构生态环境大数据集成方法，包括以下步骤：

S101.数据获取步骤：获取边缘端各个边缘节点的数据；

S201.边缘节点数据库建立步骤：将各个边缘节点的数据按照对应的标准来构建数据库，得到各个边缘节点对应的数据库；

S301.数据库交互步骤：将各个边缘节点对应的数据库按照混合式交换架构进行数据的传递和交互；

S401.异构结构数据源集成步骤：将各个边缘节点的数据库内的异构数据源集成到一起，使用户以透明的方式访问这些数据源。