[发明专利]分布式文件批处理方法、装置、设备与可读存储介质

说明书

本发明公开了一种分布式文件批处理方法，包括：在检测到文件下载通知时，确定所述文件下载通知对应的下载端，并通过所述下载端将所述文件下载通知对应的文件，从对应的云存储中下载至所述下载端对应的本地盘；通过所述下载端在所述本地盘中读取所述文件的文件内容，并基于所述文件内容，通过所述下载端将所述文件导入所述下载端对应的数据库中；通过所述数据库对应的处理端处理所述数据库中的所述文件，以得到待导出文件；通过所述处理端将所述待导出文件导出至所述本地盘，并将所述待导出文件发送至所述云存储。本发明还公开了一种分布式文件批处理装置、设备和一种存储介质。本发明通过数据库代替NAS盘，实现分布式数据交换。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及分布式文件批处理方法、装置、设备与可读存储介质。

背景技术

近年来，随着金融科技(Fintech)，尤其是互联网金融的不断发展，数据处理技术被引入银行等金融机构的日常服务中。在金融机构日常服务的过程中，往往需要做跑批工作，跑批最主要就是产生总帐、进行总分核对或者是进行大批量交易，如结息、计提、代收付等；或者是生成报表，导出流水数据等，也即系统需要对来自各分机构的分布式文件进行批处理，那么如何对分布式文件进行批处理。

在现有技术中，采用共享NAS盘(Network Attached Storage，网络存储器)存储数据，实现分布式架构数据交换，具体的，由本地机器从云存储中将文件下载到本地盘，并由本地机器写入NAS盘，再由处理系统从NAS盘读取文件，并对文件进行处理，最后由处理系统将处理后的文件再一次写入NAS盘，并同步到云存储中，实现数据交换。

但目前对分布式文件的批处理方式，依赖NAS盘实现，需要较高的硬件成本，而NAS性能写入慢，特别是大量小文件写入时较慢。因此，现有技术对分布式文件的跑批处理方式还有待改进。

发明内容

本发明的主要目的在于提出一种分布式文件批处理方法、装置、设备与可读存储介质，旨在提高处理分布式文件的高效性。

为实现上述目的，本发明提供一种分布式文件批处理方法，所述分布式文件批处理方法包括如下步骤：

在检测到文件下载通知时，确定所述文件下载通知对应的下载端，并通过所述下载端将所述文件下载通知对应的文件，从对应的云存储中下载至所述下载端对应的本地盘；

通过所述下载端在所述本地盘中读取所述文件的文件内容，并基于所述文件内容，通过所述下载端将所述文件导入所述下载端对应的数据库中；

通过所述数据库对应的处理端处理所述数据库中的所述文件，以得到待导出文件；

通过所述处理端将所述待导出文件导出至所述本地盘，并将所述待导出文件发送至所述云存储。

优选地，所述在检测到文件下载通知时，确定所述文件下载通知对应的下载端，并通过所述下载端将所述文件下载通知对应的文件，从对应的云存储中下载至所述下载端对应的本地盘的步骤包括：

在检测到文件下载通知时，确定所述文件下载通知对应的下载端；

通过所述下载端将所述文件下载通知对应的文件列表中文件状态为待下载的文件，从对应的云存储中下载至所述下载端对应的本地盘；

通过所述下载端将所述文件的文件状态更改为下载中或者已下载，并根据当前文件状态，更新所述文件列表。

优选地，所述通过所述下载端在所述本地盘中读取所述文件的文件内容，并通过所述下载端基于所述文件内容将所述文件导入所述下载端对应的数据库中的步骤包括：

通过所述下载端在所述本地盘中读取所述文件的收发配置表，并基于所述收发配置表确定所述文件是否需要导入；