[发明专利]一种数据卸载方法、装置、系统、设备及介质

说明书

本申请涉及数据存储技术领域，尤其涉及一种数据卸载方法、装置、系统、设备及介质，用以解决现有数据卸载设备存在不能创建可写外部表或者无法使用gpfdist服务的情况下，数据卸载效率慢的问题。在数据卸载过程中，多个数据存储设备共同卸载同一个待卸载表文件的，各数据存储设备通过获取所需卸载的目标数据的目标配置信息，根据该目标配置信息中包含的保存有目标数据的节点设备的设备标识，将该待卸载表文件中不同部分的数据卸载到不同的数据存储设备上，有利于不同的数据存储设备并行卸载同一个待卸载表文件，实现在当前数据存储设备存在不能创建可写外部表或者无法使用gpfdist的情况下，提高卸载待卸载表文件的效率。

技术领域

本申请涉及数据存储技术领域，尤其涉及一种数据卸载方法、装置、系统、设备及介质。

背景技术

随着计算机技术的发展，让大数据创造价值是现在企业发展的趋势，因而需要将各种业务所产生的数据应用到大数据分析中。但是，在相关技术中，大多情况下保存数据的环境和进行数据分析的环境是不同的，为了实现运用数据创造更多的数据价值，需要将保存的数据导入到进行数据分析的环境中，这样才能给后期的数据应用提供基础。

目前，一般采用gpfdist服务来实现将大量数据快速写入到目标设备中，以方便后续对写入到目标设备中的数据进行应用。具体的，进行数据卸载的电子设备启动gpfdist服务，并创建可写外部表，其中，该外部表中至少存储有待卸载数据的源存储地址。通过该可写外部表将待卸载数据卸载至目标设备。对于该种方法，如果进行数据卸载的电子设备存在不能创建可写外部表或者无法使用gpfdist服务的情况，则将无法快速将大量数据卸载到目标设备中，影响数据卸载的效率。

因此，如何在进行数据卸载的电子设备存在不能创建可写外部表或者无法使用gpfdist服务的情况下，提高数据卸载效率是一个亟待解决的技术问题。

发明内容

本申请实施例提供了一种数据卸载方法、装置、系统、设备及介质，用以解决现有进行数据卸载的电子设备存在不能创建可写外部表或者无法使用gpfdist服务的情况下，数据卸载效率慢的问题。

本申请实施例提供了一种数据卸载方法，所述方法包括：

确定所需卸载的目标数据对应的目标配置信息；其中，所述目标配置信息包括保存有所述目标数据的节点设备的设备标识，所述目标数据为待卸载表文件中的部分数据，所述待卸载表文件中不同部分的数据由多个所述数据存储设备进行卸载；

基于所述目标配置信息，获取所述目标数据。

进一步地，所述确定所需卸载的目标数据对应的目标配置信息，包括：

将预设的配置信息确定为所述目标配置信息；或

从配置信息管理设备获取所述目标配置信息；其中，所述配置信息管理设备基于保存所述待卸载表文件中不同部分的数据的所有节点设备的设备标识、和多个所述数据存储设备的数量确定的。

进一步地，所述从配置信息管理设备获取所述目标配置信息之前，所述方法还包括：

向所述配置信息管理设备发送通知信息；其中，所述通知信息用于指示所述配置信息管理设备为所述数据存储设备发送目标配置信息。

进一步地，若所述目标配置信息包含有多个节点设备的设备标识，所述多个节点设备保存的目标数据不同。

进一步地，所述基于所述目标配置信息，获取所述目标数据，包括：

将携带有所述目标配置信息的获取指令发送至主节点；其中，所述获取指令用于指示所述主节点从所述目标配置信息对应的节点设备获取所述目标数据；

接收所述主节点发送的所述目标数据。

进一步地，所述基于所述目标配置信息，获取所述目标数据之后，所述方法还包括：