[发明专利]一种长任务处理方法及系统

说明书

本申请公开了一种长任务处理方法及系统，方法包括：生成长任务的参数，判断框架是否通过一致性判断，若是，则根据输入创建长任务，任务创建成功后，返回任务id，基于框架将任务信息通过消息队列发送至执行长任务的消费者，在执行长任务过程中，输出进度及日志。本申请能够采用通用的方式屏蔽底层细节，让开发者更关注任务执行的业务实现，提高了长任务处理的工作效率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种长任务处理方法及系统。

背景技术

在电商业务系统中，常常会遇到长时间批处理的任务，传统的同步方式时间很长，容易导致服务器无法继续提供服务，传统的异步方式则无法监控任务处理进度，还需要自己处理一致性问题。传统执行批处理的长任务的方式，需要开发者考虑很多底层细节，包括：上传下载文件问题，超时问题、拒绝服务问题、监控问题、一致性问题等。

因此，如何提供一种通用的方式来屏蔽这些底层细节，让开发者更关注任务执行的业务实现，以提高工作效率，是一项亟待解决的问题。

发明内容

有鉴于此，本申请提供了一种长任务处理方法，能够采用通用的方式屏蔽底层细节，让开发者更关注任务执行的业务实现，提高了长任务处理的工作效率。

本申请提供了一种长任务处理方法，所述方法包括：

生成长任务的参数；

判断框架是否通过一致性判断，若是，则根据输入创建长任务；

任务创建成功后，返回任务id；

基于框架将任务信息通过消息队列发送至执行长任务的消费者；

在执行长任务过程中，输出进度及日志。

优选地，所述方法还包括：

在长任务执行完成后，通过框架将长任务标记为已完成。

优选地，所述方法还包括：

基于所述任务id获取长任务执行结果。

优选地，所述方法还包括：

基于所述任务id实时查看长任务处理过程中的进度以及相关日志。

优选地，所述生成长任务的参数包括：

调用超文本传输协议接口提供长任务的参数。

一种长任务处理系统，包括：

生成模块，用于生成长任务的参数；

判断模块，用于判断框架是否通过一致性判断；

输入模块，用于当判断框架通过一致性判断时，根据输入创建长任务；

返回模块，用于任务创建成功后，返回任务id；

发送模块，用于基于框架将任务信息通过消息队列发送至执行长任务的消费者；

输出模块，用于在执行长任务过程中，输出进度及日志。

优选地，所述系统还包括：

标记模块，用于在长任务执行完成后，通过框架将长任务标记为已完成。

优选地，所述系统还包括：

获取模块，用于基于所述任务id获取长任务执行结果。

优选地，所述系统还包括：

查看模块，用于基于所述任务id实时查看长任务处理过程中的进度以及相关日志。

优选地，所述生成模块具体用于：