[发明专利]数据清除方法、装置及系统

说明书

技术领域

本发明涉及计算机技术，尤其涉及一种数据清除方法、装置及系统。

背景技术

分布式文件系统具有执行远程文件存取的能力,并以透明方式对分布在网络上的文件进行管理和存取。在分布式文件系统中，文件的存储方式与本地文件系统相比存在较大差别。首先，在本地文件系统中，文件直接存储在本地节点的物理存储资源上；而在分布式文件系统中，文件的元数据和各数据分片分离，元数据和各数据分片可能存储在不同的网络节点上，相应地，对各数据分片进行读写及删除等操作是需要经过网络远程完成的。其次，在本地文件系统中，可以在本地直接对文件进行写或者修改等操作；而在分布式文件系统中，为了保证对文件进行修改写之后文件内容的正确性，需要将对各数据分片进行的修改写操作转换为写操作，使得各数据分片在被修改后存储为新的数据分片。

基于上述分布式文件系统的特点，在需要对分布在不同网络节点上的各数据分片进行删除时，需要严格控制删除顺序。由应用程序所在的应用服务器向元数据所在的元数据服务器发送删除文件的指令；元数据服务器读取该待删除文件的元数据信息，并根据元数据信息向各数据分片所在的数据服务器发送删除指令，删除该文件的各数据分片；元数据服务器在控制各数据服务器完成删除操作之后，再将该文件的元数据删除，从而完成对文件的删除。

但是，若该分布式文件系统在删除操作过程中出现网络或节点故障等问题时，元数据服务器虽然向数据服务器发送了删除文件的指令，但数据服务器由于网络故障等原因没有接收到该指令，而元数据服务器在发送删除文件的指令后将存储的元数据信息进行了删除，这就会导致部分数据分片未被成功删除，使得未被删除的数据分片成为无效文件或者垃圾文件，该部分无效文件所占用的空间无法得到释放，将会对系统资源造成浪费。

发明内容

本发明提供了一种数据清除方法、装置及系统，用于解决在分布式文件系统发生故障时，未被删除的数据分片成为文件，对系统资源造成浪费的问题。

本发明的第一方面是提供一种数据清除方法，包括：

向元数据服务器发送查询请求，所述查询请求中携带有数据对象对应的文件标识，所述文件标识为在接收到应用服务器发送的写操作指令后，对文件进行写操作时，写入所述文件对应的数据对象中的；

接收所述元数据服务器返回的查询结果；

若所述查询结果表明所述数据对象对应的文件标识不存在于所述元数据服务器中，则将所述不存在于所述元数据服务器中的文件标识对应的数据对象清除。

本发明的第一方面的第一种实施方式，提供一种数据清除方法，在所述向元数据服务器发送查询请求之前，所述方法还包括：

周期性地对存储的所述数据对象进行扫描，以获得所述数据对象的属性信息；

读取所述数据对象的属性信息，所述属性信息中包括所述数据对象对应的文件标识。

结合本发明的第一方面的第一种实施方式，本发明的第一方面的第二种实施方式，提供一种数据清除方法，所述属性信息中还包括所述数据对象对应的时间戳；

所述接收所述元数据服务器返回的查询结果之后，所述方法还包括：

若所述查询结果表明所述数据对象对应的文件标识存在于所述元数据服务器中，则判断所述存在于所述元数据服务器中的文件标识是否为两个或多个数据对象对应的同一个文件标识；

若是，则对所述两个或多个数据对象的时间戳进行比较，获得所述两个或多个数据对象中时间戳的最大值；

将所述两个或多个数据对象中时间戳小于所述最大值的数据对象清除。

本发明的第二方面是提供一种数据清除方法，包括：

接收数据服务器发送的查询请求，所述查询请求中携带有一个或多个数据对象分别对应的文件标识，所述文件标识为所述数据服务器在接收到应用服务器发送的写操作指令后，对文件进行写操作时，写入所述文件对应的数据对象中的；

根据所述查询请求，判断是否存在与各所述文件标识分别对应的文件的元数据，若是，则查询结果表明文件标识存在于元数据服务器中，若否，则所述查询结果表明文件标识不存在于所述元数据服务器中；

向所述数据服务器返回查询结果，以供所述数据服务器根据所述查询结果，将不存在于所述元数据服务器中的文件标识所对应的数据对象清除。

本发明第三方面是提供一种数据服务器，包括：