[发明专利]分布式文件批处理方法、装置、设备与可读存储介质

权利要求书

1.一种分布式文件批处理方法，其特征在于，所述分布式文件批处理方法包括如下步骤：

在检测到文件下载通知时，确定所述文件下载通知对应的下载端，并通过所述下载端将所述文件下载通知对应的文件，从对应的云存储中下载至所述下载端对应的本地盘；

通过所述下载端在所述本地盘中读取所述文件的收发配置表，并基于所述收发配置表确定所述文件是否需要导入；

若需要，则基于所述收发配置表，通过处理端确定所述文件所属的文件类型，并基于所述文件类型，确定所述文件的导入类型；

基于所述导入类型，通过所述下载端将所述文件导入所述下载端对应的数据库中；

通过所述数据库对应的处理端处理所述数据库中的所述文件，以得到待导出文件；

通过所述处理端将所述待导出文件导出至所述本地盘，并将所述待导出文件发送至所述云存储。

2.如权利要求1所述的分布式文件批处理方法，其特征在于，所述在检测到文件下载通知时，确定所述文件下载通知对应的下载端，并通过所述下载端将所述文件下载通知对应的文件，从对应的云存储中下载至所述下载端对应的本地盘的步骤包括：

在检测到文件下载通知时，确定所述文件下载通知对应的下载端；

通过所述下载端将所述文件下载通知对应的文件列表中文件状态为待下载的文件，从对应的云存储中下载至所述下载端对应的本地盘；

通过所述下载端将所述文件的文件状态更改为下载中或者已下载，并根据当前文件状态，更新所述文件列表。

3.如权利要求1所述的分布式文件批处理方法，其特征在于，若所述导入类型为单线程导入，则所述基于所述导入类型，通过所述下载端将所述文件导入所述下载端对应的数据库中的步骤包括：

确定所述数据库中是否存在所述文件对应的失败记录；

若存在，则清理所述失败记录，并通过所述下载端读取所述文件的文件配置，以确定是否需要跳过所述文件的文件头；

若需要，则通过所述下载端将跳过所述文件头的所述文件导入所述下载端对应的数据库中。

4.如权利要求1所述的分布式文件批处理方法，其特征在于，若所述导入类型为多线程导入，则所述基于所述导入类型，通过所述下载端将所述文件导入所述下载端对应的数据库中的步骤包括：

确定所述数据库中是否存在所述文件对应的失败记录；

若存在，则清理所述失败记录，并通过所述下载端将所述文件拆分为第一预设数量的第一拆分文件；

通过所述下载端将所述第一拆分文件并行导入所述下载端对应的数据库中。

5.如权利要求1-4任一项所述的分布式文件批处理方法，其特征在于，所述通过所述处理端将所述待导出文件导出至所述本地盘，并将所述待导出文件发送至所述云存储的步骤包括：

通过所述处理端获取所述待导出文件对应的收发配置表，并基于所述待导出文件对应的收发配置表确定所述待导出文件的初始化状态；

基于所述初始化状态，通过所述处理端确定所述待导出文件是否需要导出；

若需要，则通过所述处理端确定所述待导出文件在所述本地盘和在所述云存储对应的第一目录，并将所述待导出文件拆分为第二预设数量的第二拆分文件，并导出至第一目录；

在所述第一目录中将所述第二拆分文件合并为合并文件，并合并到所述待导出文件对应的第二目录。

6.如权利要求5所述的分布式文件批处理方法，其特征在于，所述若需要，则通过所述处理端确定所述待导出文件在所述本地盘和在所述云存储对应的第一目录，并将所述待导出文件拆分为第二预设数量的第二拆分文件，并导出至第一目录的步骤包括：

若需要，则确定所述待导出文件在所述本地盘和在所述云存储对应的第一目录，并确定所述第一目录是否存在残留文件；

若不存在，则通过所述处理端将所述待导出文件拆分为第二预设数量的第二拆分文件，并导出至所述第一目录；

若存在，则删除所述残留文件，并通过所述处理端将所述待导出文件拆分为第二预设数量的第二拆分文件，并导出至所述第一目录。