[发明专利]物联网异构数据存储方法及系统

说明书

技术领域

本发明涉及的是一种数据存储领域的方法，具体是一种物联网异构数据存储方法及系统。

背景技术

物联网(IoT：Internet of Things)是新一代信息技术的重要组成部分。在今天的互联网上，数据的交互几乎成为了我们的终极诉求，可随之而来的数据多样性，信息的分布式存储及松耦合，以及数据量的几何级规模的膨胀也带来了数据组织上的难度的增大，与此同时，伴随着Ajax，RIA及面向服务的网络应用的发展，其所要求的客户端数据处理逻辑的复杂性不断增加，使得开发难度不断加大。

传统的数据存储技术是基于关系型数据库进行的，主要是通过集合代数等数学概念和方法建立关系模型，将现实世界中的各种实体以及实体之间的各种联系均用关系模型来表示。传统的数据存储技术对于结构化数据来说是适合的，但是随着网络技术的发展，使得办公文档、文本、图片、XML、HTML、各类报表、图像和音频、视频信息等非结构化数据、半结构化数据的数量日趋增大。信息技术的飞速发展，推动了对信息存储的巨大需求，比如：需要存储多样化的数据类型：新的数据产生，所以对存储容量的需求是没有止境的，这要求现代存储系统应该具备高度的可扩展性；随着对效率要求的不断提高，需要对访问存储数据的速度和可靠性做出进一步的改进。

正是由于信息技术的不断发展，对存储系统的功能需求不断提高，使得传统的存储方式已经无法满足用户的需要。传统的存储系统采用的是DAS架构存储方式，在DAS方式中，存储系统附属于服务器。由于受服务器总线技术的限制，DAS方式系统的可扩展性差。当客户连接数增多时，服务器将成为整个系统的性能瓶颈：主机的带宽限制，虽然计算机技术的发展使主机总线带宽大为增加，但是仍赶不上现代存储应用对带宽的要求；主机的内存容量限制，由于主机的内存容量有限，当有连续的大量数据访问请求时，主机的内存容量将很快达到饱和，而不能处理剩下的数据传输请求；文件系统的管理开销也会增加数据访问时间，在大量客户端请求的时候，服务器便成为新的访问瓶颈，这种瓶颈效应甚至导致存储系统的资源利用率只有3％。

NAS存储架构是将存储设备通过标准的网络拓扑结构，连接到一群计算机上。NAS产品包括存储设备和集成在一起的简易服务器，可以实现涉及文件存取和管理的所有功能。由于附网存储设备直接于以太网相连，其安全性存在着一定的问题；大量数据存储都通过网络完成，增加了网络的负载，特别不适合于音频、视频数据的存储；与此同时，数据灾难恢复比较困难，通常需要一个专门定制方案。

当下对物联网的研究大多集中在感知层和传输层，侧重于对基础硬件的研发，对于应用层尤其是数据查询系统构架的研究非常少。

发明内容

本发明目的在于针对现有技术的不足，提出一种物联网异构数据存储方法及系统，适用于近年不断发展的物联网领域，对海量数据的解析、存储、访问等提供了一种新的模式，具有高可靠性和实用性能。

本发明的一个目的是提供一种物联网异构数据存储方法，该方法通过HBase分布式存储系统对各种类型的数据进行基于列的存储，并通过MySQL元数据库对存储的数据进行登记管理，最后对数据访问层进行统一配置，使得基于该数据库的应用都能使用统一的数据接口。

具体地，所述物联网异构数据存储方法包括如下步骤：

(1)系统前端将需要存储的数据送入数据存储系统；

(2)在步骤(1)所述数据存储系统采用HBase技术搭建的异构存储集群中，为不同类型的数据指定存储列簇，系统存储容量可横向扩展；

(3)MySQL元数据库对不同类型的存储数据进行进行登记，通过注册服务器向MySQL元数据库中登记数据信息，在将数据存储在步骤(2)中所述数据存储系统前，会对接收的数据标识信息和元数据库中的信息进行验证，没有登记过的实体所发送的数据将直接丢弃；

(4)在数据访问层，对不同格式的数据进行统一解析，实现数据访问接口的统一，不同的数据访问请求会路由到不同的数据库中；

(5)所有的物联网应用均通过步骤(4)所述的统一的数据接口对存储的数据进行访问。

本发明另一目的是提供一种物联网异构数据存储系统，所述系统由接口模块、数据存储模块、容量扩展模块、大文件存储模块、冗余存储模块共五个模块组成，其中：

接口模块：该模块对不同格式的数据进行统一解析，接收规定的统一查询和反馈数据类型，实现数据提供层与数据访问层之间的松耦合，该模块对上层应用提供服务，并定义下层模块实现的接口；