[发明专利]一种分布式水利RTU数据采集系统及方法

说明书

本发明公开一种分布式水利RTU数据采集系统及方法，包括RTU报文发送模块、Netty接收模块、第一MQ消息发布模块、第一数据库模块、订阅接收模块、图片报文判断模块、图片数据包判断模块、Redis模块、Redis读取模块、组装生成模块和第二数据库模块；该分布式水利RTU数据采集系统采用分布式架构，基于被广泛使用的Java网络编程框架Netty，配合高性能的Redis数据库以及NOSQL数据库MongoDB、高吞吐的消息队列Kafka。通过在接收报文、解析报文、存储报文明文的各个环节，合理利用各种高性能框架或技术，使得在高并发情况下保证采集数据的时效性、完整性。

技术领域

本发明涉及一种分布式水利RTU数据采集系统及方法。

背景技术

随着社会的不断前进、信息化的高速发展，在水利行业监测数据采集管理中，管理部门对其管理要求越来越精细化、智能化。

水文水资源部门管理的水文站网越来越密集。面对高频的采集、海量的采集数据，研发出一款高性能、高可用的智能设备采集平台可为管理单位在防洪抢险、水资源税征收等场景提供精准、可靠的数据保障的系统是亟待解决的。

发明内容

本发明要解决的技术问题是提供一种分布式水利RTU数据采集系统,其采用分布式架构，基于被广泛使用的Java网络编程框架 Netty，配合高性能的Redis数据库以及NOSQL数据库MongoDB、高吞吐的消息队列Kafka。通过在接收报文、解析报文、存储报文明文的各个环节，合理利用各种高性能框架或技术，使得在高并发情况下保证采集数据的时效性、完整性。

为解决上述问题，本发明采用如下技术方案：

一种分布式水利RTU数据采集系统，其特征在于：包括RTU报文发送模块、Netty接收模块、第一MQ消息发布模块、第一数据库模块、订阅接收模块、图片报文判断模块、图片数据包判断模块、Redis 模块、Redis读取模块、组装生成模块和第二数据库模块。

作为优选，还包含有解析模块、第二MQ消息发布模块、第二订阅接收模块和发布数据服务模块。

作为优选，所述第一数据库模块为NoSQL数据库。

作为优选，所述第一数据库模块为MongoDB数据库。

作为优选，所述第二数据库模块为关系型数据库模块。

作为优选，所述Netty接收模块被配置为在RTU与Netty建立连接并创建处理通道之后，采用java中的HashMap以RTU的地址为key, 通道对象为value的方式存入内存中，下次该RTU再上报的时候，根据RTU的地址直接从内存中取到通道对象进行下一步处理，当该RTU 下线之后，从内存中去掉该通道信息。

作为优选，所述Netty接收模块还被配置为响应RTU报文发送模块,通知RTU报文发送模块接收成功。

本发明还提供一种分布式水利RTU数据采集系统的工作方法：包括以下步骤：

S1：RTU发布报文；

S2：Netty接收报文，在RTU与Netty建立连接并创建处理通道之后，采用java中的HashMap以RTU的地址为key,通道对象为 value的方式存入内存中，下次该RTU再上报时，根据RTU的地址直接从内存中取到通道对象进行下一步处理，当该RTU下线之后，从内存中去掉该通道信息；

S3：正常报文，Netty响应TUR，通知TUR接收成功；

S4：MQ发布消息并将报文存入数据库；

S5：订阅接收；

S6：图片报文；

S7：判断图片报文是否为最后一个图片数据包；