[发明专利]工业物联网下实现Controller和Worker服务联合的方法及系统

说明书

本申请揭示了一种工业物联网下实现Controller和Worker服务联合的方法及系统，该方法包括根据路由信息进行聚合，为相同的路由统一分配Controller服务和Worker服务；当添加新增路由并启动数据传输任务时，判断是否有相同路由的Controller服务启动，若有则更新已启动的Controller服务的路由信息；若无则从Controller服务池和Worker服务池中分别选取空闲的Controller服务、Worker服务分配给新增路由，并启动新增路由对应的Controller服务和Worker服务。本申请在路由信息中Kafka集群发生变化时，Controller自动更新路由配置无需运维人员操作干预；根据路由规则自动拓展新的路由链路，解决Controller和Worker服务的拓展性。

技术领域

本发明属于工业物联网的数据传输技术领域，涉及一种工业物联网下实现Controller和Worker服务联合的方法及系统。

背景技术

在工业物联网数据传输Controller和Worker服务运行时，随着Kafka集群分区数量以及Controller和Worker服务部署数量的不断增加，整体工业物联网数据传输系统会遇到可拓展性、平衡性限制，会导致不同Kafka集群路由数据传输需要部署不同的Controller和Worker服务集群，造成Controller和Worker服务冗余并增加运营成本。

发明内容

为了解决相关技术中的技术问题，本申请提供了一种工业物联网下实现Controller和Worker服务联合的方法及系统，技术方案如下：

第一方面，本申请提供了一种工业物联网下实现Controller和Worker服务联合的方法，所述方法应用于包含DC-Manager路由管理服务、Controller服务和Worker服务的系统中，所述方法包括：

在所述DC-Manager路由管理服务中创建路由聚合方法，根据路由信息进行聚合，为相同的路由统一分配Controller服务和Worker服务，所述路由信息包括kafka集群数据源和Kafka集群目标源；

在所述DC-Manager路由管理服务中创建增加路由信息方法，当添加新增路由并启动数据传输任务时，判断是否有相同路由的Controller服务启动，若有相同路由的Controller服务启动，则更新已启动的所述Controller服务的路由信息；若没有相同路由的Controller服务启动，则从Controller服务池和Worker服务池中分别选取空闲的Controller服务、Worker服务分配给所述新增路由，并启动所述新增路由对应的Controller服务和Worker服务。

可选地，所述方法还包括：

在所述DC-Manager路由管理服务中通过Helix服务从Zookeeper中感知Controller服务和Worker服务的心跳；

当感知到Controller服务或Worker服务下线时，触发重新平衡集群机制。

可选地，所述触发重新平衡集群机制，包括：

在感知到Controller服务下线时，从所述Controller服务池中选择空闲Controller服务分配给所述下线的Controller服务所在的路由；

在感知到Worker服务下线时，通知所述Controller服务调配对应的其余Worker服务所处理的数据量。

可选地，所述方法还包括：

当Controller服务被DC-Manager路由管理服务选中并根据当前路由信息启动时，增加Controller服务获取Kafka集群信息方法，当Kafka集群的Topic信息发生变化时，修正所述Controller服务中与所述Topic相关的路由信息，平衡多个Worker服务所处理的数据量。