[发明专利]一种非标准化的热插拔式数据批量处理方法

权利要求书

1.一种非标准化的热插拔式数据批量处理方法，其特征在于，包括以下步骤：

S1、读取约定位置的数据源配置文件，根据数据源配置文件加载数据源驱动程序，形成一套数据源集合；

S2、加载本次执行的任务配置文件，读取任务配置文件内容并与步骤S1中的数据源进行关联；

S3、对步骤S2加载的任务同步进行功能组件的初始化，并启动热插拔加载子线程，热插拔加载子线程用于系统运行时对新加入的功能组件实现新任务的调度执行；

初始化的过程是指子线程在约定的组件文件夹中查找步骤S2配置的组件信息，读取并加载组件时判断组件是否是符合标准接口约定，如果符合则把组件加载到程序中等待执行；如不符合标准则记录日志，并关闭当前执行子线程；

热插拔式组件用于当程序在运行时，在步骤S2配置文件所在文件夹中添加一个新任务配置文件并把新处理组件放在约定组件文件夹中，此时热插拔加载子线程会立刻加载该组件并启动一个单独线程继续完成新任务的执行；

S4、加载数据脚本集合；

S5、对数据进行操作处理，包括数据清洗、数据修正、数据归类、数据呈现和数据打包；

S6、对数据操作处理过程中出现的异常情况进行监控记录，当任何一个步骤发生异常时首先生成异常信息并记录下来，然后判断该步骤是否还能继续执行，如果能执行则重新初始化条件后返回步骤S5，如果不能执行则中断数据处理，生成报告；

S7、针对上述多个线程执行的任务生成本次处理的数据报告，生成文字形式的描述。

2.根据权利要求1所述的一种非标准化的热插拔式数据批量处理方法，其特征在于，所述步骤S3中，初始化的过程是指子线程在约定的组件文件夹中查找步骤S2配置的组件信息，读取并加载组件时判断组件是否是符合标准接口约定，如果符合则把组件加载到程序中等待执行；如不符合标准则记录日志，并关闭当前执行子线程。

3.根据权利要求1所述的一种非标准化的热插拔式数据批量处理方法，其特征在于，所述步骤S3中，热插拔式组件用于当程序在运行时，在步骤S2配置文件所在文件夹中添加一个新任务配置文件并把新处理组件放在约定组件文件夹中，此时热插拔加载子线程会立刻加载该组件并启动一个单独线程继续完成新任务的执行。

4.根据权利要求1所述的一种非标准化的热插拔式数据批量处理方法，其特征在于，所述步骤S5包括以下子步骤：

S51、数据清洗，根据业务规则结合清洗脚本把提取的数据进行数据清洗，过滤掉不符合标准的数据，并把清洗的前后的结果保存下来转交给下一步处理；

S52、数据修正，承接S51的数据并把获取到的数据按照第S4数据修正规则脚本进行逐一处理，同样对数据修正前后的数据进行结果保存并转交下一步处理；

S53、数据归类，把S52生成的数据按照S4加载的数据归类原则对数据分类，放入不同的数据集合中为后续的数据呈现、数据打包准备；

S54、数据呈现，把S53步生成的数据发送到数据展示组件中，数据展示组件在电脑上按数据源名称、数据归类并以表格的方式呈现数据给用户查看结果；

S55、数据打包，按照用户喜好的方式把多个处理好的数据集合打包成文件方便用户带走。