[发明专利]一种采用分布式LSM树的RFID系统设计方法

说明书

技术领域

本发明涉及计算机大数据技术领域, 具体地说是一种采用分布式LSM树的RFID系统设计方法。

背景技术

RFID（Radio Frequency Identification）射频识别技术，是一种快速的、非接触式的识别技术，基于低成本，易使用，技术成熟等特点，RFID技术已经被广泛应用到各个领域中。基于RFID技术的应用系统会实时产生大量数据，这些原始数据经由RFID阅读器交给数据处理系统，一方面此系统要对大量数据进行存储；另一方面还要对错误信息进行实时校验。这两方面都是目前亟待解决的问题。

现有的海量数据管理技术部分是基于B+树的磁盘索引技术，B+树是一种高效的基于磁盘保存的数据结构，B+树虽然提供了 快速的数据查找、 快速的数据遍历，但B+树在读取期间会造成大量的磁盘随机I/O，在存取海量数据时，不能发挥其优势。所以，磁盘索引对于高实时性大吞吐量的RFID数据处理系统来说不能满足其高速存取要求。而在读取有复杂结构的RFID标签时，数据处理系统将面临很大的负载，往往不能达到实时性的要求。

LSM树就是将对数据的修改增量保持在内存中，达到指定的大小限制后将这些修改操作批量写入磁盘，读取时需要合并磁盘中的历史数据和内存中最近的修改操作。LSM树的优势在于有效地规避了磁盘随机写入问题。

发明内容

本发明的目的是提供一种采用分布式LSM树的RFID系统设计方法。

本发明的目的是按以下方式实现的，在分布式数据平台Hadoop上进行海量RFID数据冗余存储，并代替传统常用的B+树索引结构，使用LSM树数据索引结构，充分利用其基于内存的处理数据优势，进行海量RFID数据的实时校验存储,具体步骤如下：

（1）搭建集群

需要搭建集群，包括分布式数据平台和分布式数据库集群，首先根据集群机器的负载能力设置好数据块大小，配置好分布式数据平台主节点和从节点，当产生文件读写操作时，读写操作发起者Client和主节点、从节点进行RPC通信，三者共同使读写过程维持一致性，通过心跳机制检测着集群的运行状态，然后，将分布式数据库同样配置为主从结构，配置好Region大小，Hmaster和Regionserver相互通信，维持着分布式数据库系统的健壮性；

（2）设计分布式存储表结构

由于存储的是海量RFID数据，在数据库设计上首先考虑扩展性原则和实时存取原则，Hbase表结构是以按照列族为存储单位的，构建好集群后，首先简历表，再分别建立client，function，time，other四个列族，client列族对应着发起RFID操作的用户，function代表着RFID这一操作要完成的具体事件，time表示发起RFID这一操作的时间，other表示其他，将原始的数据加入到表中，对应可在相应列族下扩展列，client要增加一个age选项，可直接在相应列族下添加列age；

当需要检验海量RFID数据时，将LSM树直接读入内存，这样避免了B+树中大量的磁盘读取，以提高读取速度，当需要添加其他信息时，在other列族中进行添加扩展即可。

本发明的目的有益效果是：Hadoop分布式平台的冗余备份机制可以解决大量RFID数据存储的问题，默认为3份备份。并为数据块提供冗余校验机制，当数据块产生损坏时，可及时回复正确数据。利用自身的Namenode和Datanode主从结构进行数据的管理。基于Hbase的分布式数据库特点，利用LSM树的优势，将需要读写的RFID数据逐步加入到Hbase表中，这样大部分的读写操作将会在内存中进行，实时性和性能上将会满足要求。

附图说明

图1是Hbase表结构图；

图2是系统结构示意图。

具体实施方式

参照说明书附图对本发明的采用分布式LSM树的RFID系统设计方法作以下详细地说明。

在分布式数据平台Hadoop上进行海量RFID数据冗余存储，并代替传统常用的B+树索引结构，使用LSM树数据索引结构，充分利用其基于内存的处理数据优势，进行海量RFID数据的实时校验存储,具体步骤如下：

（1）搭建集群