[发明专利]一种文件同步操作方法、终端设备及存储介质

说明书

本发明涉及一种文件同步操作方法、终端设备及存储介质，该方法中包括：通过构建的通用的任务执行引擎来实现文件同步操作；任务执行引擎包括一个连接地址配置和一个以上的任务组件；每个任务组件包括一个扫描组件和一个以上的责任链组件，扫描组件用于扫描文件目录下的所有文件，将扫描组件扫描到的文件依次分发至各个责任链组件，通过可配置变量配置一个任务组件下的所有责任链组件执行时的线程数；每个责任链组件由多个子任务组件组成，多个子任务组件按顺序由上往下执行；子任务组件用于执行文件的操作。本发明通过每个任务可以配置多线程执行的方式，使得每个任务、每个文件均可以并行处理，大大提高了执行效率。

技术领域

本发明涉及文件操作领域，尤其涉及一种文件同步操作方法、终端设备及存储介质。

背景技术

随着信息技术的发展，文件之间的同步需求量越来越多，包括本地文件，FTP服务的文件和HDFS的文件之间的拷贝、过滤和一些通用操作等，主要存在以下几种的场景：

1、实际文件同步过程中，往往需要对某一目录A下的文件进行扫描，并分别同时拷贝到目录B，目录C，目录D等多个目录，且所有目录A、目录B、目录C、目录D可能是本地文件，FTP目录，HDFS等不同组件之间的目录拷贝。

2、针对从数据源目录A拷贝到目录B、目录C，目录D时，实际需求还会针对B、C、D这三个目录作为数据源，分别拷贝到不同的目录E、F、G等，此时还需要另外创建不同的三个独立拷贝任务进行处理。

3、文件拷贝的过程中，存在对文件加密、文件解密、文件名过滤、文件大小过滤、或者一些自定义文件处理等的复杂需求。

对于以上复杂的不同的组件或同组件之间拷贝、文件处理、文件过滤等操作，传统方式需要对每一个文件拷贝都量身定制开发，大大增加了开发工作量和工作周期，严重影响了文件拷贝的实效性，而且不同地方的拷贝任务都不通用，效率低下，解耦性低。因此，针对文件拷贝之间的多样性和不通用性，如何达到统一管理，统一配置化性能优化存在极大的挑战性。

发明内容

为了解决上述问题，本发明提出了一种文件同步操作方法、终端设备及存储介质。

具体方案如下：

一种文件同步操作方法，包括：通过构建的通用的任务执行引擎来实现文件同步操作；任务执行引擎包括一个连接地址配置和一个以上的任务组件；每个任务组件包括一个扫描组件和一个以上的责任链组件，扫描组件用于扫描文件目录下的所有文件，将扫描组件扫描到的文件依次分发至各个责任链组件，通过可配置变量配置一个任务组件下的所有责任链组件执行时的线程数；每个责任链组件由多个子任务组件组成，多个子任务组件按顺序由上往下执行；子任务组件用于执行文件的操作。

进一步的，将文件通过文件组件抽象类表示，文件组件抽象类包含的子类为本地文件组件、ftp文件组件、hdfs文件组件和其他类型文件组件。

进一步的，文件组件抽象类的配置项包括文件扫描、文件上传、文件下载、文件重命名和文件删除。

进一步的，扫描组件内通过可配置的文件路径变量来配置用于扫描组件扫描的文件的路径。

进一步的，子任务组件具体为数据包解密组件、数据包加密组件、文件拷贝组件或文件删除组件。

进一步的，所有子任务组件的通用文件操作流程通过通用子任务抽象类表示，通用子任务抽象类用于配置的通用文件操作流程包括子任务的初始化方法、子任务的操作主体、子任务的命名、统一的异常处理、过滤器的处理和任务流程的控制。

进一步的，通用子任务抽象类中配置的过滤器的处理通过过滤器抽象类进行表示，过滤器抽象类包括文件名称过滤和/或文件大小过滤。