[发明专利]一种互联网设备连接及数据转发处理方法

说明书

本发明公开了一种互联网设备连接及数据转发处理方法，涉及物联网设备连接技术领域，解决了现有技术中EMQ和Kafka通过Kafka Bridge配合使用的方法存在着运行稳定性低和CPU使用率高的问题，其技术要点是：包括EMQ集群和Kafka集群，EMQ集群和Kafka集群通过数据订阅和转发模块通讯，数据订阅和转发模块负责从EMQ集群订阅消息，然后转发到Kafka集群；本发明采用数据订阅和转发模块，订阅EMQ集群所有消息，并转发到Kafka集群，只要有一个Kafka节点在工作，消息转发就可以成功，相对于现有技术，本发明极大增加了系统的可靠性和稳定性，同时，应用从Kafka集群消费消息，也不再存在单点故障问题。

技术领域

本发明涉及物联网设备连接技术领域，尤其涉及一种互联网设备连接及数据转发处理方法。

背景技术

EMQ X(Erlang/Enterprise/Elastic MQTT Broker)消息服务器支持海量物联网设备一站式连接，并且支持大规模分布式，可用于集群架构，弹性伸缩部署。Kafka是一种高吞吐量的分布式发布订阅消息系统，可用于解耦生产者和消费者缓存消息。如图1所示，EMQ和Kafka通过Kafka Bridge配合使用，可便于接入海量物联设备并缓存巨量消息。

如图2所示，现有技术中为支持海量设备接入，EMQ X一般采用集群分布式部署，采用每个EMQ节点消息输出到一个Kafka缓存，但是该连接方法存在着一下问题，1、EMQ是集群分布式部署，但Kafka不是集群分布式部署，只要有一个EMQ或Kafka节点异常，就会导致数据丢失，运行稳定性低；2、EMQ X到Kafka的Kafka Bridge存在CPU使用率过高问题，导致接收和转存消息性能下降。因此，我们提出了一种互联网设备连接及数据转发处理方法。

发明内容

本发明要解决的技术问题是针对上述缺陷，提供一种互联网设备连接及数据转发处理方法，包括EMQ集群和Kafka集群，EMQ集群和Kafka集群通过数据订阅和转发模块通讯，数据订阅和转发模块负责从EMQ集群订阅消息，然后转发到Kafka集群；消息从服务器上经过负载均衡器分流到EMQ集群上，然后通过数据订阅和转发模块从EMQ集群订阅消息，然后转发到Kafka集群，应用从Kafka集群消费消息，以解决现有技术中EMQ和Kafka通过KafkaBridge配合使用的方法存在着运行稳定性低和CPU使用率高的问题。

为实现上述目的，本发明提供如下技术方案：

一种互联网设备连接及数据转发处理方法，包括EMQ集群和Kafka集群，EMQ集群和Kafka集群通过数据订阅和转发模块通讯，数据订阅和转发模块负责从EMQ集群订阅消息，然后转发到Kafka集群；消息从服务器上经过负载均衡器分流到EMQ集群上，然后通过数据订阅和转发模块从EMQ集群订阅消息，然后转发到Kafka集群，应用从Kafka集群消费消息。

作为本发明进一步的方案，数据订阅和转发模块采用主备模式，数据订阅和转发模块设有两个，其中主模块正常工作，当主模块异常时，备用模块切换为运行状态，同时主模块重启，并变成备用模块进入待机状态。

作为本发明进一步的方案，EMQ集群和数据订阅和转发模块至少设有一组。

综上所述，本发明与现有技术相比具有以下有益效果：

1、本发明采用数据订阅和转发模块，订阅EMQ集群所有消息，并转发到Kafka集群，只要有一个Kafka节点在工作，消息转发就可以成功，相对于现有技术，本发明极大增加了系统的可靠性和稳定性，同时，应用从Kafka集群消费消息，也不再存在单点故障问题。

2、本发明数据订阅和转发模块采用主备模式，避免其单点故障风险，增加了系统可靠性；而且本发明采用多个数据订阅和转发模块及EMQ集群，避免其成为性能瓶颈，增大了系统处理海量数据能力。

附图说明