[发明专利]一种用于批量处理任务的解析方法及设备

说明书

本申请的目的是提供一种用于批量处理任务的解析方法及设备，本申请通过将数据导入至业务场景所使用的excel文件中，将所述excel文件提交至后台的解析工具中；使用所述解析工具对所述excel文件进行解析生成导入的泛型类对象以及对应的处理任务；根据所述泛型类对象调用对应的业务逻辑，并使用所述业务逻辑及异步线程池异步执行所述处理任务，生成处理结果；将所述处理结果写入结果文件中，并根据所述处理结果更新所述处理任务的任务状态。从而解析文件的对象做到通用性，对于大数据量的处理做到了分布式和异步性，处理的最终响应能够永久的查看。

技术领域

本申请涉及计算机领域，尤其涉及一种用于批量处理任务的解析方法及设备。

背景技术

目前还没有通用的excel批量处理任务，都是现写excel解析文件，同步去执行，并且存在导入数据量小，给前台的响应时间很长的情况，对于大数据量的处理存在很大的缺陷甚至处理不了。文件解析的对象做不到通用性，需要到处编写造成冗余问题；如果有多个业务系统都需要这种大批量的处理功能，需要每个系统都实现一遍功能，不能提供一个组件服务方便统一管理，维护不统一。

发明内容

本申请的一个目的是提供一种用于批量处理任务的解析方法及设备，解决现有技术中对于数量较大的文件，前台响应不及时甚至出现不能处理的情况以及文件解析的对象做不到通用性的问题。

根据本申请的一个方面，提供了一种用于批量处理任务的解析方法，该方法包括：

将数据导入至业务场景所使用的excel文件中，将所述excel文件提交至后台的解析工具中；

使用所述解析工具对所述excel文件进行解析生成导入的泛型类对象以及对应的处理任务；

根据所述泛型类对象调用对应的业务逻辑，并使用所述业务逻辑及异步线程池异步执行所述处理任务，生成处理结果；

将所述处理结果写入结果文件中，并根据所述处理结果更新所述处理任务的任务状态。

进一步地，使用所述解析工具对所述excel文件进行解析生成导入的泛型类对象以及对应的处理任务，包括：

使用所述解析工具校验所述excel文件的大小和格式，若校验通过，则解析excel文件生成导入的泛型类对象以及对应的处理任务，并在前台返回任务处理中。

进一步地，将所述处理结果写入结果文件中之后，包括：

将所述结果文件上传至云存储上并生成存储文件的URL，当所有处理任务完成后，显示查看下载结果链接。

进一步地，解析excel文件生成导入的泛型类对象以及对应的处理任务，包括：

解析excel文件中已配置的字段，通过反射机制得到导入的泛型类对象并生成对应的处理任务。

进一步地，所述方法包括：

将业务系统接入组件服务，生成批量任务组件服务，并所述业务系统申请云存储空间，其中，所述组件服务中包括解析工具的压缩包；

对所述解析工具的压缩包进行解析，以配置所述解析工具的初始化导入工具类服务。

进一步地，所述方法包括：

判断所述异步线程池是否已满，若否，则创建线程执行当前处理任务，若是，则判断阻塞队列是否已满；

若所述阻塞队列未满，则将所述处理任务存储在所述阻塞队列中，若所述阻塞队列已满，则判断所述异步线程池是否已满；

当所述异步线程池未满时，创建线程执行所述处理任务，当所述异步线程池已满时，根据饱和策略进行处理所述处理任务。

进一步地，生成处理结果之后包括：