[发明专利]一种实现工业互联网数据处理支持多用户热部署的系统

说明书

本发明涉及工业互联网技术领域，具体是一种实现工业互联网数据处理支持多用户热部署的系统，包括采集对象模块、数据采集模块、kafka模块、jstorm模块和数据库模块；所述kafka模块采用集群模式，包括多个kafka单元，kafka单元创建的数据信息主题topic由企业ID和网关ID组成；所述jstorm模块与kafka模块、数据库模块相连，jstorm模块采用集群模式，包括多个jstorm单元，规定jstorm单元的任务名topology和主题topic的映射关系，映射关系包括一个topology对应唯一一个topic、一个topology对应多个topic，一个topology只对应一个企业ID。本发明中的单个jstorm任务只能消费单个企业的主题信息，jstorm集群可以同时支持多个jstorm任务运行，即使其中某一个或多个企业数据出现异常，不会干扰到jstorm处理其它企业数据。

技术领域

本发明涉及工业互联网技术领域，具体是一种实现工业互联网数据处理支持多用户热部署的系统。

背景技术

jstorm是阿里巴巴开源的一个分布式实时计算引擎，用户只需按照规定的编程规范实现一个任务，然后将这个任务递交给jstorm系统，jstorm将这个任务无间断运行起来。一旦出现异常导致某个Worker发送故障，调度器立刻会分配一个新的Worker去顶替异常的Worker。Kafka是一种高吞吐量的分布式发布订阅消息系统，可用于解耦生产者和消费者、缓存消息。jstorm按照topic实时消费kafka中的数据。

工业互联网环境应用中，许多企业的数据信息高速缓存入kafka，kafka划分数据主题（topic），jstorm根据topic消费kafka中数据，然后计算并缓存到数据库中。生产应用中，kafka的topic并不是按照企业ID划分的，jstorm运算处理后的数据都是转存到同一个数据库。

该方式缺点很明显：

1、kafka没有按照企业ID和网关ID创建主题（topic），那么jstorm任务消费某个topic的数据时，就可能是多个企业混合的数据，这增加了jstorm代码计算逻辑的复杂度。

2、jstorm启动后没有实现周期性读取企业采集设备的功能，不能支持企业采集设备的灵活热部署。

3、无法实现单个jstorm任务只处理对应的某一个企业的数据，这样，出现异常的企业信息容易串扰其他企业信息。如果某个jstorm任务出现问题，会影响多家企业数据处理。

4、数据缓存没有按企业划分不同的数据库，导致前端企业页面查询该企业的数据信息延时较大

因此，针对以上现状，迫切需要开发一种实现工业互联网数据处理支持多用户热部署的系统，以克服当前实际应用中的不足。

发明内容

本发明的目的在于提供一种实现工业互联网数据处理支持多用户热部署的系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种实现工业互联网数据处理支持多用户热部署的系统，包括采集对象模块、数据采集模块、kafka模块、jstorm模块和数据库模块；所述数据采集模块与采集对象模块和kafka模块连接，所述kafka模块采用集群模式，包括多个kafka单元，kafka单元创建的数据信息主题topic由企业ID和网关ID组成；所述jstorm模块与kafka模块、数据库模块相连，jstorm模块采用集群模式，包括多个jstorm单元，规定jstorm单元的任务名topology和主题topic的映射关系，映射关系包括一个topology对应唯一一个topic、一个topology对应多个topic，但是一个topology只对应一个企业ID。

作为本发明进一步的方案：所述采集对象模块包括若干为数据采集模块提供数据信息的企业，数据采集模块将采集得到的数据信息汇入kafka模块中。