[发明专利]一种流域边缘端多源异构生态环境大数据集成方法及系统

权利要求书

1.一种流域边缘端多源异构生态环境大数据集成方法，其特征在于，包括以下步骤：

S101.数据获取步骤：获取边缘端各个边缘节点的数据；

S201.边缘节点数据库建立步骤：将各个边缘节点的数据按照对应的标准来构建数据库，得到各个边缘节点对应的数据库；

S301.数据库交互步骤：将各个边缘节点对应的数据库按照混合式交换架构进行数据的传递和交互；

S401.异构结构数据源集成步骤：将各个边缘节点的数据库内的异构数据源集成到一起，使用户以透明的方式访问这些数据源。

2.根据权利要求1所述的一种流域边缘端多源异构生态环境大数据集成方法，其特征在于，

S101中边缘端各个节点包括但不限于气象、水利、生态环境、自然资源、流域机构和科研机构。

3.根据权利要求1所述的一种流域边缘端多源异构生态环境大数据集成方法，其特征在于，

S201中构建的各个边缘节点对应的数据库包括但不限于水文数据库、水质数据库和水环境检测数据库，最终构建了水环境及水文边缘端综合数据库。

4.根据权利要求3所述的一种流域边缘端多源异构生态环境大数据集成方法，其特征在于，

S301中水环境及水文边缘端综合数据库的混合式交换架构为集中式交换架构和分布式交换架构的结合，其存储方式为分布式云存储架构。

5.根据权利要求1所述的一种流域边缘端多源异构生态环境大数据集成方法，其特征在于，

S401异构数据集成包括以下内容：

建立通用数据库引擎GDBE处理异构数据的异构问题，包括直接访问数据库一致的接口，用户以透明的方式访问并检索相关数据源中的数据，实现异构数据源间的数据迁移；

建立数据交换中间件DEM，基于通用数据库引擎GDBE进行数据从源数据库到目的数据库的导入交换。

6.根据权利要求5所述的一种流域边缘端多源异构生态环境大数据集成方法，其特征在于，

数据交换中间件DEM基于各种数据库中数据类型的特点，先进行关系模式信息提取，建立关系型数据库以及关系型数据与系统数据间的转换映射，然后进行关系模式转换。

7.根据权利要求6所述的一种流域边缘端多源异构生态环境大数据集成方法，其特征在于，

各种数据源间的数据类型映射关系，在数据交换DEM中间件中采用了数据库存储的方式保存，能够实现动态增删修改，当有新的数据库类型被加入时只需通过DEM提供的数据类型转换映射维护界面，建立新的转换映射关系。

8.根据权利要求1所述的一种流域边缘端多源异构生态环境大数据集成方法，其特征在于，

S401中对异构数据集成中的列存储的数据进行列组合，并转换为行存储数据，导入水环境及水文边缘端综合数据库，同时针对异构数据的多样性采取配置表实现该转换的通用性。

9.一种流域边缘端多源异构生态环境大数据集成系统，其特征在于，应用权利要求1-8任一项所述的流域边缘端多源异构生态环境大数据集成方法，包括依次连接的数据获取模块、边缘节点数据库建立模块、数据库交互模块、异构结构数据源集成模块；

数据获取模块用于获取边缘端各个边缘节点的数据；

边缘节点数据库建立模块用于将各个边缘节点的数据按照对应的标准来构建数据库，得到各个边缘节点对应的数据库；

数据库交互模块用于将各个边缘节点对应的数据库按照混合式交换架构进行数据的传递和交互；

异构结构数据源集成模块用于将各个边缘节点的数据库内的异构数据源集成到一起，使用户以透明的方式访问这些数据源。