[发明专利]分布式数据仓库中删除文件的方法、装置、设备及系统

说明书

本发明公开了一种分布式数据仓库中删除文件的方法、装置、设备及系统，属于数据仓库管理领域。所述方法包括：向管理节点发送心跳上报；接收管理节点发送的携带有数据块标识的删除指令；将数据块标识存入至延迟队列中；在指定条件下删除延迟队列中存储的数据块标识所对应的数据块。本发明通过在接收管理节点发送的携带有数据块标识的删除指令，将数据块标识存入至延迟队列中，在指定条件下删除该延迟队列中存储的数据块标识所对应的数据块；解决了现有技术中NameNode中设置的回收站对某些情况下的误删除操作无法进行修复，降低了Hadoop系统的数据安全性的问题；达到了可以很大程度上保证了Hadoop系统中数据的安全性的效果。

技术领域

本发明涉及数据仓库管理领域，特别涉及一种分布式数据仓库中删除文件的方法、装置、设备及系统。

背景技术

Hadoop是一种分布式系统基础架构，能够充分利用集群高速运算和存储，Hadoop实现了一个分布式系统（HDFS，Hadoop Distributed File System）。该HDFS的架构中可以包含一个管理节点NameNode和多个数据节点DataNode，存储在HDFS中的文件会被分成多个数据块，这些数据块被分布存储至不同的DataNode中。

现有的Hadoop为了防止用户对文件误删除时引发的文件丢失，在NameNode中设置了回收站（Trash）的功能，当用户删除某一文件时，NameNode将该文件的目录修改至回收站目录下，此时DataNode并没有在物理上删除该文件，但由于该文件的目录被修改至回收站目录下，NameNode不会向用户反馈该文件的元数据以及块映射关系，因此用户也是无法查看到该文件的；如果用户发现该删除为误操作，想要恢复该文件，NameNode会将该文件名从回收站目录下移动至原目录下，完成对该文件的恢复，这样，当客户端需要查看该文件时，客户端根据NameNode反馈的该文件的元数据以及相关的块映射关系，就能到相关的DataNode中读取该文件所对应的数据块。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：在NameNode中设置的回收站对某些情况下的误删除操作无法进行修复，比如，当用户对该回收站进行了清理操作时，NameNode会确定出回收站中的文件所包含的存储在DataNode中的数据块，NameNode会向DataNode下发用于删除这些数据块的删除指令，DataNode则根据删除指令删除这些数据块；还比如，在集群启动前，如果NameNode中的元数据被误删除或损坏，此时启动NameNode时，NameNode的内存中不包含元数据，当DataNode启动之后，DataNode向Namenode上报数据块信息，由于NameNode中并不存在这些数据块信息，因此NameNode会向DataNode下发对这些数据块进行删除的删除指令，DataNode则删除这些数据块。由于DataNode在接收到删除指令之后会直接删除了相关数据块，因此即便用户在短时间内发现出现误删除，也无法对这些删除的数据块进行恢复，降低了Hadoop系统的数据安全性。

发明内容

为了解决现有技术中NameNode中设置的回收站对某些情况下的误删除操作无法进行修复，降低了Hadoop系统的数据安全性的问题，本发明实施例提供了一种分布式数据仓库中删除文件的方法、装置及电子设备。所述技术方案如下：

第一方面，提供了一种分布式数据仓库中删除文件的方法，所述方法包括：

数据节点向管理节点发送心跳上报，所述心跳上报包括所述数据节点存储的所有数据块的数据块标识，所述心跳上报用于使得所述管理节点根据所述心跳上报确定所述数据块标识到所述数据节点的映射；

接收心跳返回，从接收到的心跳返回中获取所述管理节点发送的携带有数据块标识的删除指令；

将所述数据块标识存入至延迟队列中并记录存入的时间；

在指定条件下删除所述延迟队列中存储的所述数据块标识所对应的所述数据节点中的数据块。