[发明专利]一种基于数据湖的空间大数据处理系统及方法

说明书

一种基于数据湖的空间大数据处理系统及方法，涉及空间大数据处理技术领域。在该系统中，所述系统包括：获取模块、数据入湖模块以及数据湖解析模块；所述获取模块，用于获取不同数据源中多种类型空间大数据；所述数据入湖模块，用于将所述不同数据源中所述多种类型空间大数据储存至数据湖；所述数据湖解析模块，用于分别解析所述多种类型空间大数据，得到各类型空间大数据对应的结构化数据；所述数据湖解析模块，还用于将多种所述结构化数据储存至第一Delta表。实施本申请提供的技术方案，可以实现空间大数据的统一存储。

技术领域

本申请涉及空间大数据处理技术领域，具体涉及一种基于数据湖的空间大数据处理系统及方法。

背景技术

随着科技的发展，世界经济数字化转型正处在高速发展的道路上，空间大数据作为驱动科技创新发展的关键要素，其经济价值与战略价值愈发凸显，但与之对应的挑战也日益严峻。

现如今，空间大数据治理面临着如空间大数据来源复杂性，空间大数据种类复杂性，空间大数据存储占用大，空间大数据分析计算量大等等诸多难题。传统的空间大数据处理方案需要根据空间大数据的类型分别存储在不同的文件系统和数据库中，其无法实现空间大数据的统一存储。因此，如何解决空间大数据的统一存储成为亟需解决的问题。

因此，亟需一种基于数据湖的空间大数据处理系统及方法来解决当前技术存在的问题。

发明内容

本申请提供了一种基于数据湖的空间大数据处理系统及方法，可以实现空间大数据的统一存储。

第一方面，本申请提供了一种基于数据湖的空间大数据处理系统，所述系统包括：获取模块、数据入湖模块以及数据湖解析模块；所述获取模块，用于获取不同数据源中多种类型空间大数据；所述数据入湖模块，用于将所述不同数据源中所述多种类型空间大数据储存至数据湖；所述数据湖解析模块，用于分别解析所述多种类型空间大数据，得到各类型空间大数据对应的结构化数据；所述数据湖解析模块，还用于将多种所述结构化数据储存至第一Delta表。

通过采用上述技术方案，数据湖入湖模块可以实现将不同数据源中多种类型空间大数据进行存储，从而使得大量的空间大数据入湖方式更加简易；并通过数据湖解析模块将多种类型空间大数据进行解析，得到各类型空间大数据对应的结构化数据，从而统一各类型空间大数据的数据结构；数据湖解析模块再将多种结构化数据储存至第一Delta表，可以使得各类型空间大数据统一存储，进而提高了各类型空间大数据的存储效率。

可选的，所述不同数据源包括：文件型服务器数据源、API服务器数据源、数据库类型数据源以及文件类型数据源；所述数据入湖模块包括：文件数据源入湖子模块、API入湖子模块、数据库入湖子模块以及手动文件上传子模块；所述文件数据源入湖子模块，用于通过Input抽象接口获取所述文件型服务器数据源中所述多种类型空间大数据的数据流，并通过Output抽象接口将所述文件型服务器数据源中所述多种类型空间大数据的数据流储存至所述数据湖；所述API入湖子模块，用于调用所述API服务器数据源的HTTP请求，并将请求得到的所述API服务器数据源中所述多种类型空间大数据储存至所述数据湖；所述数据库入湖子模块，用于通过JDBC将所述数据库类型数据源中所述多种类型空间大数据储存至所述数据湖；所述手动文件上传子模块，用于提供文件上传入口，并通过所述文件上传入口获取用户储存至所述数据湖中的将文件类型数据源中所述多种类型空间大数据。