[发明专利]基于hdfs的准实时数据存储方法

摘要

一种基于hdfs的准实时数据存储方法，由客户端、本地文件系统、hdfs和hbase实现，在收到消息后，先将消息序列化并压缩后作为小文件顺序存储到本地文件系统，在小文件的绝对位置确定后，重新计算小文件的相对位置以追加为一个大文件来保证文件的完整性，且大文件依然可分割，然后异步追加小文件到hdfs中，从而在保证数据可靠性和吞吐量的同时，能够对数据进行准实时的随机读取，提高了数据的查询速度。

主权项

1.一种基于hdfs的准实时数据存储方法，由客户端、本地文件系统、hdfs和hbase实现，其特征在于，包括以下步骤：A、客户端接受消息，将消息序列化并压缩后作为小文件存储到本地文件系统；B、完成本地文件系统的写入并获取上述消息所对应各小文件的绝对位置后，重新计算各小文件相对于组合出该消息的整体大文件的相对位置；C、将上述的相对位置存储到hbase，并计算出消息的循环冗余校验码作为hbase的行主键；D、根据预设的刷新间隔或者预定的文件大小，截断该小文件并创建新文件；E、监控已完成的小文件，将其异步上传至hdfs，通过append接口追加到hdfs的文件，构建成大块文件；F、异步刷新消息的位置到hbase。