[发明专利]一种Hadoop文件系统并发高速数据完全删除的方法

说明书

本发明公开了一种Hadoop文件系统并发高速数据完全删除的方法，实现对Hadoop文件系统数据的完全删除，快捷且有效地彻底清除数据，保障用户的数据安全，有效防止数据泄露，避免了因数据泄露而导致的危害和经济损失。

技术领域

本发明涉及数据安全领域，尤其涉及到一种Hadoop文件系统并发高速数据完全删除的方法。

背景技术

数据安全问题是云计算所面对的主要问题，因此数据安全的研究也成为当前云计算的重点研究方向之一。而Hadoop作为云计算中使用较多的数据处理平台，在运行过程中，针对数据的保密性，尤其是针对删除后的数据没有提供有效保护，没有提供一个安全有效的数据删除机制。由于以下原因很可能会导致数据泄露：

1)如果某一个DataNode失效，则该DataNode中的存储数据不能被彻底保护，从而会导致数据泄露的安全问题。

2)由于Hadoop文件系统的回收站机制，用户删除的文件并没有被完全删除，而是移动到了回收站文件夹。因此也就可以找回回收站中的文件。

3)Hadoop文件系统部署在Linux文件系统中，Linux文件系统对于文件的删除操作并不会彻底销毁磁盘中的已删除数据，在新的内容写入磁盘之前，残留的数据内容还将继续存储在磁盘中。所以，HDFS中的数据并没有被实际销毁，只要利用数据恢复技术，文件信息很有可能被恢复。

利用以上原因导致的数据泄露，恶意的用户或云服务提供商可以恢复利用普通用户已经删除的数据，损害用户利益甚至造成更加重大的危害。因此本发明针对Hadoop文件系统中的数据不能被彻底销毁的问题，提供了一种Hadoop 文件系统并发高速数据完全删除的方法。

发明内容

本发明的目的就在于为了解决上述问题而提供一种删除数据彻底，安全系数高的Hadoop文件系统并发高速数据完全删除的方法。

本发明通过以下技术方案来实现上述目的：

本发明包括用户客户端、Hadoop的名称节点和数据节点，所述数据节点中的服务程序完成一次对于任务列表的单向遍历执行一次刷写磁盘操作，将之前对于数据块的覆写操作确定在磁盘中执行，所述Hadoop名称节点响应用户客户端的服务请求，并在处理后转发给数据节点中的服务程序。

a客户端选择需要完全删除的文件名以及删除等级，发送的服务请求给所述Hadoop名称节点；

b所述Hadoop的名称节点接收到用户客户端发送的服务请求后，锁定任务列表，独占式访问，如果查询任务列表，用户客户端发送的删除服务请求不在任务列表，则将该任务添加到任务列表，然后释放任务列表锁，如果查询用户客户端发送的删除服务请求已经在任务列表，则反馈给用户客户端该任务已在任务列表，然后释放任务列表锁。

c所述Hadoop的名称节点中的服务程序把数据文件名和数据块名包装为数据流发送给所有存放有待删除数据块的数据节点；

d所述数据节点中的服务程序响应所述Hadoop的名称节点服务请求，根据服务请求获得待删除数据块名称和删除等级。

e所述数据节点上获得数据块名称和删除等级后，锁定任务列表，独占式访问，如果查询任务列表，待删除数据块不在任务列表，则将该数据块添加到任务列表，然后释放任务列表锁；如果查询待删除数据块已经在任务列表，则反馈给名称节点中服务程序该任务已在任务列表，然后释放任务列表锁；

f所述数据节点中的服务程序遍历任务列表，对数据块执行覆写操作，所述数据节点实时发送已删除数据块数量给所述Hadoop的名称节点。

g 所述Hadoop的名称节点中的服务程序在对完全删除操作结束后，调用 Hadoop的API对该文件进行删除，进而使得该文件从Hadoop的文件目录中删除。