[发明专利]一种基于数据湖的空间大数据处理系统及方法

权利要求书

1.一种基于数据湖的空间大数据处理系统，其特征在于，所述系统包括：获取模块(1)、数据入湖模块(2)以及数据湖解析模块(3)；

所述获取模块(1)，用于获取不同数据源中多种类型空间大数据；

所述数据入湖模块(2)，用于将所述不同数据源中所述多种类型空间大数据储存至数据湖；

所述数据湖解析模块(3)，用于分别解析所述多种类型空间大数据，得到各类型空间大数据对应的结构化数据；

所述数据湖解析模块(3)，还用于将多种所述结构化数据储存至第一Delta表。

2.根据权利要求1所述的一种基于数据湖的空间大数据处理系统，其特征在于，所述不同数据源包括：文件型服务器数据源、API服务器数据源、数据库类型数据源以及文件类型数据源；所述数据入湖模块(2)包括：文件数据源入湖子模块(21)、API入湖子模块(22)、数据库入湖子模块(23)以及手动文件上传子模块(24)；

所述文件数据源入湖子模块(21)，用于通过Input抽象接口获取所述文件型服务器数据源中所述多种类型空间大数据的数据流，并通过Output抽象接口将所述文件型服务器数据源中所述多种类型空间大数据的数据流储存至所述数据湖；

所述API入湖子模块(22)，用于调用所述API服务器数据源的HTTP请求，并将请求得到的所述API服务器数据源中所述多种类型空间大数据储存至所述数据湖；

所述数据库入湖子模块(23)，用于通过JDBC将所述数据库类型数据源中所述多种类型空间大数据储存至所述数据湖；

所述手动文件上传子模块(24)，用于提供文件上传入口，并通过所述文件上传入口获取用户储存至所述数据湖中的将文件类型数据源中所述多种类型空间大数据。

3.根据权利要求1所述的一种基于数据湖的空间大数据处理系统，其特征在于，所述多种类型空间大数据包括半结构化的JSON格式数据、结构化的SHP数据、结构化的GDB数据、非结构化的影像数据以及非结构化的图片数据；所述数据湖解析模块(3)包括：JSON数据解析子模块(31)、SHP数据解析子模块(32)、GDB数据解析子模块(33)、影像数据解析子模块(34)以及图片数据解析子模块(35)；

所述JSON数据解析子模块(31)，用于基于JsonPath和JsonJolt将所述半结构化的JSON格式数据转化成结构化数据；

所述SHP数据解析子模块(32)，用于基于Apache Sedona引擎的ShapefileReader.readToGeometryRDD方法，将所述结构化的SHP数据转换为二维表数据；

所述GDB数据解析子模块(33)，用于基于GDB规范，对所述结构化的GDB数据解析得到二维表数据；

所述影像数据解析子模块(34)，用于提取所述非结构化的影像数据的元数据信息，并将所述元数据信息整合为二维表数据集合；

所述图片数据解析子模块(35)，用于根据所述非结构化的图片数据生成二维表数据。

4.根据权利要求1所述的一种基于数据湖的空间大数据处理系统，其特征在于，所述系统还包括：数据湖分析模块(4)；

所述数据湖分析模块(4)，用于采用预设方法对所述第一Delta表进行分析，得到分析结果；所述分析结果包括第二Delta表。

5.根据权利要求4所述的一种基于数据湖的空间大数据处理系统，其特征在于，所述数据湖分析模块(4)包括数据湖计算子模块(41)和数据湖数据分配子模块(42)；

所述数据湖计算子模块(41)，用于基于Spark框架和Apache Sedona引擎定义多种算子规范，根据所述多种算子规范，对所述第一Delta表进行分析；

所述数据湖数据分配子模块(42)，用于根据所述多种算子规范，将所述第一Delta表中的部分所述结构化数据分配至所述第二Delta表。

6.根据权利要求3所述的一种基于数据湖的空间大数据处理系统，其特征在于，所述系统还包括：数据湖管理模块(5)；

所述数据湖管理模块(5)，用于管理所述数据湖中的所述不同数据源中所述多种类型空间大数据，以使用户查找和预览所述不同数据源中所述多种类型空间大数据。