[发明专利]一种基于elastic-job框架可单机弹性扩容的任务分片方法

摘要

本发明提供一种基于elastic‑job框架可单机弹性扩容的任务分片方法，主要包括6个步骤，主要过程为任务实例建立，基于elastic‑job框架编写任务代码；定义任务声明（.xml）；定义任务描述（.properties）；任务在运行时刻解析分片项，以及任务的自定义参数；根据构建的实例矩阵，由用户编写的业务分片策略，自行决定如何并发处理不同的数据，或是执行可并发的程序；分布式环境中的服务扩容或缩容。本发明提出一种可单机弹性扩容的任务分片方法，使得elastic‑job可以适应单机多线程执行并发任务的场景，大大提高了服务并发的效率与资源利用率。这种分片方法不需要增加过多额外的开发成本，且支持动态扩容缩容。

主权项

1.一种基于elastic‑job框架可单机弹性扩容的任务分片方法，其特征在于，包括以下步骤：步骤1：建立任务实例，基于elastic‑job框架编写任务代码；elastic‑job框架的回调入口函数参数中包含本次任务调度分配的分片项，读取所述分片项并记录；步骤2：定义任务声明.xml；在启动程序中加载作业声明xml，生成elastic‑job任务并注册到zookeeper的服务中；需要利用步骤1编写的任务类声明多个任务实例spring bean，并且注册多个所述任务实例；步骤3：定义任务描述.properties；所述任务实例的所述分片项个数通过参考可部署的机器数量自行决定；任务的自定义参数，用以作为运行时的配置信息；步骤4：任务在运行时刻解析所述分片项，以及所述任务的自定义参数；通过获取到的所述步骤3中的信息，可以动态解析分布式环境中的机器个数，以及单机下同任务的实例个数，构建分布式环境和单机环境相结合的实例矩阵；步骤5：根据步骤4构建的所述实例矩阵，由用户编写的业务分片策略，自行决定如何并发处理不同的数据，或是执行可并发的程序；步骤6：分布式环境中的服务扩容或缩容；本分片方法可以动态感知分布式环境变化，自动调整每个实例需要处理的数据范围；单机环境下，需要增减任务实例，即增减任务处理线程，只需要在elastic‑job配置中修改自定义参数重启即可。