[发明专利]一种基于物联网的水文实时流数据采集处理方法

说明书

本发明公开了一种基于物联网的水文实时流数据采集处理方法，包括建立一个水文数据采集的后台管理系统和水文物联网传感器，后台管理系统为物联网水文传感器配置采集协议、地址/端口，后台管理员通过后台管理系统可视化操作控制整个水文物联网传感器数据采集、处理，通过后台管理系统可以查看浏览采集的数据并以实时报表的形式展示数据；所述后台管理系统连接有服务网关集群模块、临时云存储模块、Flume消息队列模块、消息队列监听器模块、智能解析模块、分布式文件模块和拦截与纠错模块。本发明利用分布式技术构建的水文实时流数据处理方法具有合理的拦截错误数据功能，有更高的自动化采集水平。

技术领域

本发明涉及一种基于物联网的水文实时流数据采集处理方法。

背景技术

近几十年来，全球气候变化无常，河流水量变化剧烈导致旱涝灾害发生频繁。尤其所遭遇的特大干旱水灾，给人民的生命财产造成巨大损失，因此对当前水文水情采集技术提出了新技术要求，使之能够及时监测水文水情变化情况，并且建立起完善的自动水文水情数据采集和处理系统，为预测旱涝灾害提供实时的数据支持。

我国越来越重视连续动态的监测江河湖泊的水文状况，已经在多个流域布设了很多水文测站，主要用于对水文水情信息进行收集和发布。水文测站监测的内容很多，主要有含沙量、水的流量、蒸发量、降水量以及河水的水位等，基本可以实现自记化。水情信息可以向水情信息中心实时的传输，让用户通过手机、电脑等设备随时对水情信息进行查看。目前水务部门开发的自动测报系统，可以有效的按照一定的时间间隔，通过相关的传感器对信息进行采集，并且对水位、雨量等信息进行存储，通过编译之后向信息中心进行传输，信息中心终端在获取数据之后，可以对这些数据进行分析、检查、反馈。

虽然水文水情采集处理方法已经实现了一定周期内的采集，周期可以设定为1分钟、 5 分钟、10 分钟等。但是还存在如下主要问题：

(1)当数据采集的过程中一旦产生错误，数据无法及时的进行纠正。例如采集的降雨、径流实时数据中存在缺失、异常值时无法及时的进行处理。

(2)面对不同的水文数据传感器时，传统水文实时流数据采集方法为不同的物联网传感器数据内容单独开发数据解析采集模块。但对于某些传感器采集的数据虽内容不同，但数据格式为相同的半结构化形式，存在冗余开发等问题，例如某些传感器采集的数据，虽然数据内容不同，但数据格式为半结构化的JSON/XML。

发明内容

本发明的目的在于提供一种基于物联网的水文实时流数据采集处理方法，是利用分布式技术构建的水文实时流数据处理方法。

为了实现上述目的，本发明的技术方案是：

一种基于物联网的水文实时流数据采集处理方法，包括建立一个水文数据采集的后台管理系统和水文物联网传感器，后台管理系统为物联网水文传感器配置采集协议、地址/端口，后台管理员通过后台管理系统可视化操作控制整个水文物联网传感器数据采集、处理，通过后台管理系统可以查看浏览采集的数据并以实时报表的形式展示数据；其中，所述后台管理系统连接有服务网关集群模块、临时云存储模块、Flume消息队列模块、消息队列监听器模块、智能解析模块、分布式文件模块和拦截与纠错模块；其中：

后台管理系统通过服务网关集群模块管理水文物联网传感器，服务网关集群模块负责服务网关集群的负载均衡，；

采集的水文传物联网感器数据被送入云存储模块，临时云存储模块采用分布式MongoDB数据库集群存储记录文件并建立文件索引，临时云存储模块在文件存储完成后发送消息到Flume消息队列模块，消息队列监听器模块监听Flume消息队列模块是否存在新消息，当有新消息时首先启动智能解析模块进行智能解析，解析后的数据上传配置到分布式文件模块中，然后启动拦截与纠错模块进行拦截与纠错，拦截与纠错后的数据插入到Cassandra数据库中用于实时报表，其中：