[发明专利]一种HDFS数据落盘方法、装置、服务器及存储介质

权利要求书

1.一种HDFS数据落盘方法，其特征在于，包括：

HDFS服务器获取客户端设备发送的待存储数据；

判断所述待存储数据是否属于目标文件块；其中，所述目标文件块为HBase WAL日志的文件块；

若是，则将所述待存储数据加入到下刷队列和应答队列；

若否，则将所述待存储数据加入到所述下刷队列，并在所述目标文件块下刷完成后，将所述待存储数据加入到所述应答队列。

2.根据权利要求1所述的HDFS数据落盘方法，其特征在于，所述判断所述待存储文件块是否为目标文件块，包括：

判断所述待存储数据所属的文件块的标识是否处于阻塞队列；

若是，则确定所述待存储数据属于所述目标文件块；

若否，则确定所述待存储数据不属于所述目标文件块。

3.根据权利要求2所述的HDFS数据落盘方法，其特征在于，还包括：

创建文件时，判断所述文件是否为所述HBase WAL日志；

若为所述HBase WAL日志，则将所述文件的源代码文件路径对应的文件索引节点编号加入所述阻塞队列；其中，所述标识为文件块ID。

4.根据权利要求3所述的HDFS数据落盘方法，其特征在于，所述判断所述文件是否为所述HBase WAL日志，包括：

根据所述文件的格式，判断所述文件是否为所述HBase WAL日志；

若为所述HBase WAL日志，则执行所述将所述文件的源代码文件路径对应的文件索引节点编号加入所述阻塞队列的步骤。

5.根据权利要求4所述的HDFS数据落盘方法，其特征在于，所述根据所述文件的格式，判断所述文件是否为所述HBase WAL日志，包括：

判断所述文件的格式是否为预设HBase WAL日志格式；

若为所述预设HBase WAL日志格式，则确定所述文件为所述HBase WAL日志，并执行所述将所述文件的源代码文件路径对应的文件索引节点编号加入所述阻塞队列的步骤。

6.根据权利要求1至5任一项所述的HDFS数据落盘方法，其特征在于，所述将所述待存储数据加入到下刷队列和应答队列之后，还包括：

对所述下刷队列中的当前待存储数据进行分段下刷，并根据所述应答队列中的当前待存储数据对应的应答返回信息，轮询查看当前待存储数据对应的成功下刷偏移量；其中，当前待存储数据为任一所述待存储数据；

根据所述成功下刷偏移量，判断当前待存储数据是否下刷成功；

若下刷成功，则向所述客户端设备返回当前待存储数据的存储成功信息；

若下刷失败，则向所述客户端设备返回当前待存储数据的存储失败信息。

7.根据权利要求6所述的HDFS数据落盘方法，其特征在于，所述根据所述成功下刷偏移量，判断当前待存储数据是否下刷成功，包括：

在当前待存储数据全部下刷完成后，判断当前待存储数据对应的成功下刷偏移量是否等于当前待存储数据对应的偏移量；

若等于当前待存储数据对应的偏移量，则确定当前待存储数据下刷成功；

若不等于当前待存储数据对应的偏移量，则确定当前待存储数据下刷失败。

8.一种HDFS数据落盘装置，其特征在于，应用于HDFS服务器，包括：

数据获取模块，用于获取客户端设备发送的待存储数据；

数据判断模块，用于判断所述待存储数据是否属于目标文件块；其中，所述目标文件块为HBase WAL日志的文件块；

日志存储模块，用于若属于所述目标文件块，则将所述待存储数据加入到下刷队列和应答队列；

常规存储模块，用于若不属于所述目标文件块，则将所述待存储数据加入到所述下刷队列，并在所述目标文件块下刷完成后，将所述待存储数据加入到所述应答队列。