[发明专利]一种HDFS数据落盘方法、装置、服务器及存储介质

说明书

本发明公开了一种HDFS数据落盘方法、装置、HDFS服务器及计算机可读存储介质，涉及数据处理技术领域，该方法包括：HDFS服务器获取客户端设备发送的待存储数据；判断待存储数据是否属于目标文件块；其中，目标文件块为HBase WAL日志的文件块；若是，则将待存储数据加入到下刷队列和应答队列；若否，则将待存储数据加入到下刷队列，并在目标文件块下刷完成后，将待存储数据加入到应答队列；本发明通过判断待存储数据是否属于目标文件块，实现对HBase WAL日志的识别，使WAL日志的数据能够在下刷落盘时返回应答信息，实现基于HBase WAL机制的直接应答顺序下刷的数据落盘，提高了HBase数据存入的速度。

技术领域

本发明涉及数据处理技术领域，特别涉及一种HDFS数据落盘方法、装置、HDFS服务器及计算机可读存储介质。

背景技术

HBase(一种分布式的、面向列的开源数据库)的WAL(HBase用于数据容错的日志文件)提供了一种高并发且持久化的日志保存及回放机制，每一个业务的数据写入操作执行前，都会记账在WAL中。客户端向RegionServer(HBase的一个组件)提交数据的时候会率先写入WAL日志，只有当WAL日志写入成功的时候，客户端才会被告诉提交数据成功。如果写WAL日志写入失败会告知客户端提交失败，这其实就是数据落地的过程。

现有技术中，在一个RegionServer上的所有Region(HBase中表示数据分布和访问的基本单位)都共享一个HLog(WAL log，WAL日志)，一次数据的提交先写入WAL日志，写入成功后，再写入memstore(写缓存)之中。当memstore的值达到一定的时候，就会形成一个个StoreFile(文件块)；然而，这种先写入WAL日志在写入数据的机制，导致在HDFS(HadoopDistributed File System，一种分布式文件系统)的存算分离模式下，HBase写入数据是WAL写入的性能瓶颈，致使HBase数据存入的速度不高。

因此，如何能够提高HBase数据存入的速度，提升用户体验，是现今急需解决的问题。

发明内容

本发明的目的是提供一种HDFS数据落盘方法、装置、HDFS服务器及计算机可读存储介质，以提高HBase数据存入的速度，提升用户体验。

为解决上述技术问题，本发明提供一种HDFS数据落盘方法，包括：

HDFS服务器获取客户端设备发送的待存储数据；

判断所述待存储数据是否属于目标文件块；其中，所述目标文件块为HBase WAL日志的文件块；

若是，则将所述待存储数据加入到下刷队列和应答队列；

若否，则将所述待存储数据加入到所述下刷队列，并在所述目标文件块下刷完成后，将所述待存储数据加入到所述应答队列。

可选的，所述判断所述待存储文件块是否为目标文件块，包括：

判断所述待存储数据所属的文件块的标识是否处于阻塞队列；

若是，则确定所述待存储数据属于所述目标文件块；

若否，则确定所述待存储数据不属于所述目标文件块。

可选的，该方法还包括：

创建文件时，判断所述文件是否为所述HBase WAL日志；

若为所述HBase WAL日志，则将所述文件的源代码文件路径对应的文件索引节点编号加入所述阻塞队列；其中，所述标识为文件块ID。

可选的，所述判断所述文件是否为所述HBase WAL日志，包括：

根据所述文件的格式，判断所述文件是否为所述HBase WAL日志；