[发明专利]一种基于elastic-job框架可单机弹性扩容的任务分片方法有效

专利信息
申请号: 201811038389.3 申请日: 2018-09-06
公开(公告)号: CN109165088B 公开(公告)日: 2022-04-19
发明(设计)人: 高士翔 申请(专利权)人: 华泰证券股份有限公司
主分类号: G06F9/48 分类号: G06F9/48;G06F9/50
代理公司: 南京科知维创知识产权代理有限责任公司 32270 代理人: 杜依民
地址: 210000 *** 国省代码: 江苏;32
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 elastic job 框架 单机 弹性 扩容 任务 分片 方法
【权利要求书】:

1.一种基于elastic-job框架可单机弹性扩容的任务分片方法,其特征在于,包括以下步骤:

步骤1:建立任务实例,基于elastic-job框架编写任务代码,基于elastic-job框架编写的任务代码为任务类;elastic-job框架的回调入口函数参数中包含任务调度分配的分片项,读取所述分片项并记录;

步骤2:定义任务声明.xml;在启动程序中加载作业声明xml,生成elastic-job任务并注册到zookeeper的服务中;利用步骤1编写的任务类声明多个任务实例spring bean,注册多个所述任务实例;

步骤3:定义任务描述.properties;所述任务实例的所述分片项个数通过部署的机器数量决定;任务的自定义参数,用以作为运行时的配置信息;所述自定义参数包括实例个数、实例序号;

步骤4:任务在运行时刻解析所述分片项,以及所述任务的自定义参数;通过获取到的步骤3中的实例个数、实例序号,动态解析分布式环境中的机器个数,以及单机下同一任务的实例个数,构建分布式环境和单机环境相结合的实例矩阵;

步骤5:根据步骤4构建的所述实例矩阵,由用户编写的业务分片策略,决定并发处理不同的数据,或是执行可并发的程序;

步骤6:分布式环境中的服务扩容或缩容;动态感知分布式环境变化,自动调整每个实例需要处理的数据范围;单机环境下,增减任务处理线程,在elastic-job配置中修改自定义参数后重启。

2.如权利要求1所述的一种基于elastic-job框架可单机弹性扩容的任务分片方法,其特征在于,所述步骤1中的所述框架的回调入口函数的参数由所述框架提供,并且通过实现回调入口函数动态获取分配到的任务分片项以及参数信息的自定义。

3.如权利要求1所述的一种基于elastic-job框架可单机弹性扩容的任务分片方法,其特征在于,所述步骤2中声明的多个任务实例spring bean,指定加载所在xml文件的操作用以完成基于elastic-job框架的定时任务。

4.如权利要求1所述的一种基于elastic-job框架可单机弹性扩容的任务分片方法,其特征在于,由于elastic-job支持单机执行多分片项,所述步骤3中的所述分片项个数大于运行机器的个数。

5.如权利要求1所述的一种基于elastic-job框架可单机弹性扩容的任务分片方法,其特征在于,在任务执行时,根据得到的实例分片项以及自定义参数,计算分布式环境中的所述实例矩阵。

6.如权利要求1所述的一种基于elastic-job框架可单机弹性扩容的任务分片方法,其特征在于,所述步骤3中传递的信息包括所述步骤2中同一任务的实例个数,以及实例的可标识序列ID。

7.如权利要求1所述的一种基于elastic-job框架可单机弹性扩容的任务分片方法,其特征在于,所述步骤4中利用账号与机器个数相除的余数值,作为账号分片归纳处理的依据。

8.如权利要求1所述的一种基于elastic-job框架可单机弹性扩容的任务分片方法,其特征在于,每个实例都通过所述分片项和所述自定义参数中的所述实例序号,计算单个服务器下单实例所承担的余数集合,进而处理对应的账号集合。

9.如权利要求1所述的一种基于elastic-job框架可单机弹性扩容的任务分片方法,其特征在于,分布式环境的机器变化不影响所述分片方法的自动重新生成。

10.如权利要求1所述的一种基于elastic-job框架可单机弹性扩容的任务分片方法,其特征在于,通过修改所述自定义参数,重新编写任务xml中的bean声明,改变单机中的实例个数,改变实例总数及序号。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华泰证券股份有限公司,未经华泰证券股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201811038389.3/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top