[发明专利]数据一致性的处理方法、装置、设备及分布式文件系统

说明书

本发明公开了一种数据一致性的处理方法、装置、设备及分布式文件系统。其中，该方法包括：确定待写入数据的写入操作存在写入操作异常，生成用于记录写入操作异常的第一指控信息；将所述第一指控信息存储至非易失性存储介质，以将所述第一指控信息添加至持久化的第二指控信息；其中，所述写入操作为追加写，所述第一指控信息包括：待写入数据所属的目标文件的标识信息、待写入数据的存储信息；所述第二指控信息基于记录追加写的写入操作异常的第一指控信息更新；所述第二指控信息用于持久化指示所述目标文件中存在写入操作异常的存储信息。本发明实施例能够在满足数据一致性要求的前提下，优化分布式文件系统的IO性能。

技术领域

本发明涉及分布式文件系统领域，尤其涉及一种数据一致性的处理方法、装置、设备及分布式文件系统。

背景技术

分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连，分布式文件系统是一种部署在多主机上，提供网络主机容错并提供文件语义的存储系统。

数据一致性是分布式文件系统需要保证的性质，实际应用中，分布式文件系统中的各个节点的硬件，比如：内存、CPU(central processing unit，中央处理器)、网卡、磁盘、电源等，都存在损坏的可能性，可能会导致多个备份数据不一致，最终影响数据的正确性。

相关技术中，往往需要在正常读写流程中加入保证数据一致性的操作，影响了分布式文件系统正常IO(Input/Output，输入/输出)的性能。

发明内容

有鉴于此，本发明实施例提供了一种数据一致性的处理方法、装置、设备及分布式文件系统，旨在满足数据一致性要求的前提下，优化分布式文件系统的IO性能。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种数据一致性的处理方法，包括：

确定待写入数据的写入操作存在写入操作异常，生成用于记录写入操作异常的第一指控信息；

将所述第一指控信息存储至非易失性存储介质，以将所述第一指控信息添加至持久化的第二指控信息；

其中，所述写入操作为追加写，所述第一指控信息包括：待写入数据所属的目标文件的标识信息、待写入数据的存储信息；所述第二指控信息基于记录追加写的写入操作异常的第一指控信息更新；所述第二指控信息用于持久化指示所述目标文件中存在写入操作异常的存储信息。

本发明实施例还提供了一种数据一致性的处理装置，所述装置包括：

指控信息生成模块，用于确定待写入数据的写入操作存在写入操作异常，生成用于记录写入操作异常的第一指控信息；

持久化模块，用于将所述第一指控信息存储至非易失性存储介质，以将所述第一指控信息添加至持久化的第二指控信息；

其中，所述写入操作为追加写，所述第一指控信息包括：待写入数据所属的目标文件的标识信息、待写入数据的存储信息；所述第二指控信息基于记录追加写的写入操作异常的第一指控信息更新；所述第二指控信息用于持久化指示所述目标文件中存在写入操作异常的存储信息。

本发明实施例又提供了一种处理设备，应用于分布式文件系统，所述处理设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器，用于运行计算机程序时，执行本发明任一实施例所述方法的步骤。

本发明实施例还提供了一种分布式文件系统，包括：多个本发明实施例所述的处理设备。

本发明实施例还提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本发明任一实施例所述方法的步骤。