[发明专利]基于分布式文件系统的数据读取、写入方法及装置

说明书

本发明公开了一种基于分布式文件系统的数据读取、写入方法及装置。其中，该方法包括：分布式文件系统中属于第一区域的第一存储节点接收客户端设备发送的读取请求，其中，该读取请求用于请求待读取数据；判断与待读取数据对应的第一存储位置是否具有预设标记；在判断结果为是时，则从第二存储节点中读取待读取数据，其中，第二存储节点位于第二区域，且第一区域和第二区域是不同的区域。本发明解决了相关技术中分布式文件系统在多地域集群存储时存在性能不佳的技术问题。

技术领域

本发明涉及分布式文件存储领域，具体而言，涉及一种基于分布式文件系统的数据读取、写入方法及装置。

背景技术

Ceph是分布式的存储，如图1所示，它将文件分割后均匀随机地分散在各个节点上，Ceph采用了CRUSH算法来确定对象的存储位置，只要有当前集群的拓扑结构，Ceph客户端就能直接计算出文件的存储位置，直接跟OSD(守护进程)节点通信获取文件而不需要询问中心节点获得文件位置，这样就避免了单点风险。

如果不考虑网络和分布的限制，Ceph集群的性能是占优的，相对于Swift(对象存储)和HDFS(分布式文件系统)等。

Ceph虽然支持多地域部署，但实际上其仍然依托于master-slave模型，和强一致数据模式(即在任意时刻，分布式系统中的所有节点中的数据是相同的，例如，在同一时间点，在节点A获取到的数据和在节点B获取到的数据是一致的)，都严重制约着Ceph的多地域集群(甚至不同的机房)的性能，例如，由于Ceph是强一致性的，所以只有在所有副本都写完的时候才认为一个写操作完成。从而，客户端需要大量的时间来进行确认，影响了数据传输效率。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明提供了一种基于分布式文件系统的数据读取、写入方法及装置，以至少解决相关技术中分布式文件系统在多地域集群存储时存在性能不佳的技术问题。

一方面，本发明提供了一种基于分布式文件系统的数据读取方法，包括：分布式文件系统中属于第一区域的第一存储节点接收客户端设备发送的读取请求，其中，该读取请求用于请求待读取数据；判断与待读取数据对应的第一存储位置是否具有预设标记；在判断结果为是时，则从第二存储节点中读取待读取数据，其中，第二存储节点位于第二区域，且第一区域和第二区域是不同的区域。

可选地，方法还包括：在判断结果为否时，从与待读取数据对应的存储位置中读取待读取数据。

可选地，预设标记用于表示待读取数据未存储于第一存储位置，且待读取数据存储于第二区域的第二存储位置。

可选地，分布式文件系统中属于第一区域的第一存储节点接收客户端设备发送的读取请求之前，方法还包括：第一存储节点确定第一存储节点中具有预设标记的存储位置，得到指定存储位置；第一存储节点依据预设标记确定与预设标记对应的第二存储节点；第一存储节点从第二存储节点中接收待读取数据，并将待读取数据存储至指定存储位置。

可选地，将待读取数据存储至指定存储位置之后，方法还包括：解除预设标记与第二存储节点的对应关系。

可选地，分布式文件系统中属于第一区域的第一存储节点接收客户端设备发送的读取请求之前，方法还包括：第一存储节点判断待写入数据的目标存储位置所对应的目标存储节点是否属于第一区域；在目标存储节点属于第一区域时，第一存储节点将待写入数据中的数据块全部存储至目标存储位置后，向客户端设备发送第一通知信息，该第一通知信息用于通知客户端设备待写入数据的全部数据块已经写入目标存储节点。

可选地，在目标存储节点不属于第一区域时，方法还包括：第一存储节点为目标存储位置分配预设标记；建立预设标记和目标存储节点的对应关系；向客户端设备发送第二通知信息，该第二通知信息用于通知客户端设备待写入数据中的指定数据块已经写入目标存储节点，其中，指定数据块为待写入数据中的任意一个数据块。