[发明专利]跨分布式系统数据处理方法、装置、设备及存储介质

说明书

本申请提出一种跨分布式系统数据处理方法、装置、设备及存储介质，其中方法包括：获取数据管理文件的查询请求，所述查询请求中包含第一存储路径及第一用户信息，其中，所述第一存储路径中包括分布式文件系统的路径；根据所述分布式文件系统的路径，从所述分布式文件系统中获取与所述第一用户信息对应的第一数据管理文件。由此，实现了对跨分布式系统的数据进行处理，节省了存储资源，减少了数据处理时间，提高了数据处理效率。

技术领域

本申请涉及数据处理技术领域，特别涉及一种跨分布式系统数据处理方法、装置、设备及存储介质。

背景技术

随着信息技术与大数据的飞速发展，数据仓库在软硬件领域、互联网和企业内部网解决方案以及数据库方面提供了许多经济高效的计算资源，可以保存大量的数据文件供分析使用。

Hive是基于Hadoop的数据仓库工具，可以把结构化的数据文件映射成数据表，被广泛应用于数据仓库。但是，现有的Hive，并不支持多个分布式文件系统(HadoopDistributed File System，简称HDFS)，当数据分布在多个HDFS中时，为了对跨分布式系统的数据进行处理，需要先通过数据拷贝的方式，将多个HDFS中的数据同步到同一HDFS中。这种数据处理方式，不仅浪费存储资源，而且在数据量大时，需要耗费大量的时间进行数据拷贝，数据处理效率低。

发明内容

本申请实施例提出一种跨分布式系统数据处理方法、装置、设备及存储介质，用于解决相关技术中，对跨分布式文件系统的数据的处理方式不仅浪费存储资源，而且在数据量大时，需要耗费大量的时间进行数据拷贝，数据处理效率低的技术问题。

为此，本申请一方面实施例提出一种跨分布式系统数据处理方法，该方法包括：获取数据管理文件的查询请求，所述查询请求中包含第一存储路径及第一用户信息，其中，所述第一存储路径中包括分布式文件系统的路径；根据所述分布式文件系统的路径，从所述分布式文件系统中获取与所述第一用户信息对应的第一数据管理文件。

本申请另一方面实施例提出了一种跨分布式系统数据处理装置，该装置包括：第一获取模块，用于获取数据管理文件的查询请求，所述查询请求中包含第一存储路径及第一用户信息，其中，所述第一存储路径中包括分布式文件系统的路径；第二获取模块，用于根据所述分布式文件系统的路径，从所述分布式文件系统中获取与所述第一用户信息对应的第一数据管理文件。

本申请又一方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，以实现第一方面实施例所述的跨分布式系统数据处理方法。

本申请的又一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，以实现第一方面实施例所述的跨分布式系统数据处理方法。

本申请公开的技术方案，具有如下有益效果：

实现了对跨分布式系统的数据进行处理，节省了存储资源，减少了数据处理时间，提高了数据处理效率。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请一个实施例的Hive的架构图；

图2为本申请一个实施例的数据管理文件的元数据的树形图；

图3为本申请一个实施例的跨分布式系统数据处理方法的流程示意图；

图4为本申请另一个实施例的跨分布式系统数据处理方法的流程示意图；

图5为本申请又一个实施例的跨分布式系统数据处理方法的流程示意图；