[发明专利]一种基于HBase的大规模无线传感网络数据存储系统

说明书

本发明公开了一种基于HBase的大规模无线传感网络数据存储系统，涉及大数据技术领域。本发明包括网关层、LM层、GM层，网关层为传感器数据的接入层，不同传感器类型都有与之相对应的网关来接收并处理传感器数据，传感器采集的数据通过网关被应用程序获取；LM层为管理传感数据的存储，从网关获取传感器采集数据，并实时存储这些数据；GM层为管理并记录全局信息，分配传感器数据存放位置。本发明通过提出了一个两层分布式存储架构，使用分布式数据库HBase存储跨区域的无线传感网络数据和全局数据储存管理目录，实现一个近实时的存储系统。

技术领域

本发明属于大数据技术领域，特别是涉及一种基于HBase的大规模无线传感网络数据存储系统。

背景技术

随着物联网在中国的展开，信息技术界面面临海量信息存储问题，无线传感网作为物联网末端信息存储，分布区域越来越广，规模越来越大，产生信息量飞速增长；

无线传感器由一组传感器和汇聚节点组成，它们之间通过无线网络通信，一个无线传感网络有一个或多个汇聚节点专门收集所有传感器节点采集的数据，传感器的分布广、规模大、部署是有区域性的；

由于大规模传感器分布存在区域性，如果将所有区域传感器采集数据存放到一个LHBase集群数据库必然导致网络资源消耗大，费时长，因此，将各个区域采集的数据存放在区域数据库服务器有利于减少网络资源消耗，提高数据存储和访问的实时性，针对以上问题提供一种基于HBase的大规模无线传感网络数据存储系统具有重要的意义。

发明内容

本发明的目的在于提供一种基于HBase的大规模无线传感网络数据存储系统，无线传感网络存在分布的跨区域性，随着无线传感网络的扩张，传感器数目增多，将产生大规模的传感数据，针对存储大规模无线传感网络数据的问题，提出了一个两层分布式存储架构，使用分布式数据库HBase存储跨区域的无线传感网络数据和全局数据储存管理目录，实现一个近实时的存储系统。

为解决上述技术问题，本发明是通过以下技术方案实现的：本发明为一种基于HBase的大规模无线传感网络数据存储系统，包括网关层、LM层、GM层；

所述网关层为传感器数据的接入层，不同传感器类型都有与之相对应的网关来接收并处理传感器数据，传感器采集的数据通过网关被应用程序获取；

所述LM层为管理传感数据的存储，从网关获取传感器采集数据，并实时存储这些数据；

所述GM层为管理并记录全局信息，分配传感器数据存放位置。

进一步地，所述网关按区域划分，每个区域都有LHBbase用来存放网关收集的实时传感器采集数据，GHBase中保存全局信息，记录所有LHBase、LM、网关及传感器信息，当新添加一个网关时，首先通过本地LM向GM申请添加新的网关，GM为网关和传感器分配一个唯一的标识符，为每个传感器指定存储表名和表结构，GM保持这些信息在GHBase，维持一个全局信息，LM从GM获取数据存放表名和表结构后，写入数据到LHBase。

进一步地，系统构架中，存在着3种通信关系：

(1)网关到LM，传感器数据传输，数据实时写入LHBase；

(2)LM到GM，新添加、更新或删除网关或传感器节点时，申请注册、更新或删除注册记录；

(3)GM到LM，响应用户查询请求，由传感器数据保持在LHBase，而GHBase记录所有LHBase中保存数据的数据信息。因此，首先GM查询GHBase获取所查数据所在LHBase地址，然后与LM通信获取数据返回给用户。

本发明具有以下有益效果：

1、将各个区域采集的数据存放在区域数据库服务器，有利于减少网络资源消耗，提高数据存储和访问的实时性。