[发明专利]一种非标准化的热插拔式数据批量处理方法

说明书

本发明公开了一种非标准化的热插拔式数据批量处理方法，包括以下步骤：S1、读取约定位置的数据源配置文件；S2、加载本次执行的任务配置文件，读取任务配置文件内容并与步骤S1中的数据源进行关联；S3、对任务同步进行功能组件的初始化；S4、加载数据脚本集合；S5、对数据进行操作处理，包括数据清洗、数据修正、数据归类、数据呈现和数据打包；S6、对数据操作处理过程中出现的异常情况进行监控记录；S7、针对上述多个线程执行的任务生成本次处理的数据报告，生成文字形式的描述。本发明使用约定配置文件作为先驱任务清单，计算机多线程解析配置文件，按照配置文件的不同实现线程同步进行数据的处理。

技术领域

本发明属于数据处理方法领域，特别涉及一种非标准化的热插拔式数据批量处理方法。

背景技术

一般标准化业务开发软件都会提供数据的统计并导出Excel或者导出其它格式文件,方便用户在非本系统中进行流转。但是这样的数据格式基本上是已经固定或者可以有限制的调整，当软件用户量大时并提出各种不同的个性化数据格式导出需求时，已经设计好的系统要快速实现该功能将比较费力。

发明内容

本发明的目的在于克服现有技术的不足，提供一种使用约定配置文件作为先驱任务清单，计算机多线程解析配置文件，按照配置文件的不同实现线程同步进行数据的处理，能够实现对已产生大量的历史数据进行批量清洗、数据修正、过程监管、数据归类、数据呈现、数据打包等操作的非标准化的热插拔式数据批量处理方法。

本发明的目的是通过以下技术方案来实现的：一种非标准化的热插拔式数据批量处理方法，包括以下步骤：

S1、读取约定位置的数据源配置文件，根据数据源配置文件加载数据源驱动程序，形成一套数据源集合；

S2、加载本次执行的任务配置文件，读取任务配置文件内容并与步骤S1中的数据源进行关联；

S3、对步骤S2加载的任务同步进行功能组件的初始化，并启动热插拔加载子线程，热插拔加载子线程用于系统运行时对新加入的功能组件实现新任务的调度执行；

S4、加载数据脚本集合；

S5、对数据进行操作处理，包括数据清洗、数据修正、数据归类、数据呈现和数据打包；

S6、对数据操作处理过程中出现的异常情况进行监控记录，当任何一个步骤发生异常时首先生成异常信息并记录下来，然后判断该步骤是否还能继续执行，如果能执行则重新初始化条件后返回步骤S5，如果不能执行则中断数据处理，生成报告；

S7、针对上述多个线程执行的任务生成本次处理的数据报告，生成文字形式的描述。

进一步地，所述步骤S3中，初始化的过程是指子线程在约定的组件文件夹中查找步骤S2配置的组件信息，读取并加载组件时判断组件是否是符合标准接口约定，如果符合则把组件加载到程序中等待执行；如不符合标准则记录日志，并关闭当前执行子线程。

进一步地，所述步骤S3中，热插拔式组件用于当程序在运行时，在步骤S2配置文件所在文件夹中添加一个新任务配置文件并把新处理组件放在约定组件文件夹中，此时热插拔加载子线程会立刻加载该组件并启动一个单独线程继续完成新任务的执行。

进一步地，所述步骤S5包括以下子步骤：

S51、数据清洗，根据业务规则结合清洗脚本把提取的数据进行数据清洗，过滤掉不符合标准的数据，并把清洗的前后的结果保存下来转交给下一步处理；

S52、数据修正，承接S51的数据并把获取到的数据按照第S4数据修正规则脚本进行逐一处理，同样对数据修正前后的数据进行结果保存并转交下一步处理；

S53、数据归类，把S52生成的数据按照S4加载的数据归类原则对数据分类，放入不同的数据集合中为后续的数据呈现、数据打包准备；