[发明专利]一种基于NoSQL和分布式文件系统的物联网存储系统

说明书

本发明公开了一种基于NoSQL和分布式文件系统的物联网存储系统，包括NoSQL交互模块，负责与NoSQL数据库交互；分布式文件系统交互模块，负责与分布式文件系统交互；时序索引模块，负责时序数据的存储和索引，使数据可以基于时间点，时间范围获取，并负责时序数据的合并归档；持久化模块，负责对单独的较大数据对象进行特殊处理以提高性能。本发明有效的利用了NoSQL数据库高写入性能的特点和分布式文件系统廉价易扩展的特点，成功构建了一个高性能，廉价，易扩展，高可用的物联网数据存储系统，相对于现有的SQL数据存储系统和普通分布式文件系统，其存储物联网海量小数据的性能显著提高。

技术领域

本发明涉及物联网存储的技术领域，尤其是指一种基于NoSQL和分布式文件系统的物联网存储系统。

背景技术

物联网是一个将海量传感设备与互联网相结合而形成的巨大网络，随着物联网技术的发展其应用规模不断扩大。由于海量传感器不断地将数据采集并发送到数据中心，物联网数据呈现海量特性，并爆炸式的增长，形成了物联网大数据。物联网数据不仅存储容量巨大，还有类型繁多，数据大小变化，流动快，易产生亿级甚至十亿级海量小文件等特点。由于在数据管理，访问性能，存储效率等方面面临着巨大挑战，其存储也成为工业难题。

衡量数据存储性能的关键指标主要为IOPS即每秒输入输出量或称读写次数和数据吞吐量。目前的存储系统，主要包括传统SQL数据库和非关系型NoSQL数据库。SQL数据库由于需要建立复杂索引应用于查询，面对海量小文件时，其索引建立和遍历式的查询都带来过高的性能损耗，因此不能很好的适应物联网存储系统。新兴NoSQL数据库中，Redis及Memcached等内存数据库存储成本高昂，Hbase依托于Hadoop家族的集群环境，在运维上较为复杂，相较而言，Google推出的leveldb作为可持久化的NoSQL，较为合适，但作为嵌入程序的数据库，若使其适应物联网程序，满足物联网程序多数据中心，大数据量，可扩展等需求，则需要深度的二次开发。

符合物联网应用场景的数据存储系统应具有以下特点：其一，适应多写少读的使用场景；由于物联网存储系统无时无刻不在收集来自传感器的数据，其写入极为频繁，相对而言，当需要数据展示，数据分析，数据获取时才需要人为的读取数据，其读取频率远小于写入频率。其二，存储系统应能应对海量小数据的读写；物联网数据以传感器信息为主，单条数据往往不超过KB级。其三，要有一定的索引能力和分析能力；物联网海量小数据若仅仅为存储或历史记录而存在，则成本过高，这些数据需要在数据分析中体现出其价值，这就要求物联网数据存储系统对数据提供一定程度的索引；其四，要有多数据中心工作的能力；由于当前网络条件的制约，物联网应用并不适合运行在云端，物联网终端往往需要网络条件良好的，能快速反应的数据中心对其进行回应，这就要求物联网数据存储系统需要能够同时运行在多个数据中心，而这些数据中心又不能是孤立的，它们应是一个完整的存储系统，能够从任何访问点获取到全部数据。

发明内容

本发明的目的在于克服现有数据库产品面对物联网数据时的不足，提出了一种基于NoSQL和分布式文件系统的物联网存储系统，该系统性能高可用且实用性极强，可以满足物联网应用的数据存储，进而提高物联网应用的性能。

为实现上述目的，本发明所提供的技术方案为：一种基于NoSQL和分布式文件系统的物联网存储系统，包括：

NoSQL交互模块，负责控制NoSQL数据库连接池的配置和创建，并负责控制将临时数据和持久数据的索引数据存储到NoSQL数据库；

分布式文件系统交互模块，负责控制对分布式文件系统的连接，同时负责控制数据以文本形式存储进分布式文件系统，并获取其索引信息；

时序索引模块，负责控制时序数据在存储系统中的归档，已归档临时数据的删除，以及提供时序索引能力；

持久化模块，负责控制NoSQL中单个大数据对象持久化到分布式文件系统中。