[发明专利]基于网络存储设备集群的数据处理方法及装置

说明书

本申请公开了一种基于网络存储设备集群的数据处理方法及装置。该方法包括：当网络存储设备N发起与网络存储设备M的点对点连接，拟从网络存储设备M中读取数据或向网络存储设备M写入数据时，判断所述网络存储设备M是否有效，其中，N和M为整数，表示网络存储设备的ID；如果网络存储设备M失效，则尝试采用未失效的所述网络存储设备在网络存储设备N读取数据时恢复数据，并且在所述数据的恢复过程中使所述失效的网络存储设备节点数不超过预设纠错码的容错能力。本申请解决了云存储中的副本冗余、RS纠删码等都会占用大量存储空间和计算资源的技术问题。通过本申请的方法，降低了分布式副本冗余方案的存储空间占用，降低了RS纠删码的计算资源消耗。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种基于网络存储设备集群的数据处理方法及装置。

背景技术

针对企业客户或个人用户的本地存储资源如计算机、移动硬盘、USB闪存、网络存储设备(英文全称：Network Attached Storage，简称：NAS)等均存在资源和访问的局限，通过使用云存储的可以让使用者在任何时间、地点，通过可连网并安装云存储应用的装置，方便地访问云存储空间和存取数据。

发明人发现，对于云存储中的副本冗余、RS纠删码等都会占用大量存储空间并且消耗大量计算资源。

针对相关技术中云存储中的副本冗余、RS纠删码等都占用大量存储空间和计算资源的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种基于网络存储设备集群的数据处理方法及装置，以解决云存储中的副本冗余、RS纠删码等都占用大量存储空间和计算资源的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种基于网络存储设备集群的数据处理方法。

本申请提供了一种基于网络存储设备集群的数据处理方法包括：当网络存储设备N发起与网络存储设备M的点对点连接，拟从网络存储设备M中读取数据或向网络存储设备M写入数据时，判断所述网络存储设备M是否有效，其中，N和M为整数，表示网络存储设备的ID；如果网络存储设备M失效，则尝试采用未失效的所述网络存储设备在网络存储设备N读取数据时恢复数据，并且在所述数据的恢复过程中使所述失效的网络存储设备节点数不超过预设纠错码的容错能力。

进一步地，如果网络存储设备M失效，则尝试采用未失效的所述网络存储设备在网络存储设备N读取数据时恢复数据时还包括：在读取数据的所述网络存储设备节点，根据所述预设纠错码读取与所述数据属于同一编码组中的数据；以及如果判断所述数据所在的其他网络存储设备的节点中有效，则读取所述其他网络存储设备上的数据。

进一步地，还包括：当所述网络存储设备拟进行写数据操作时，将待写入的所述数据写入相应的网络存储设备节点，并对属于同一数据块组中并参与编码的其他校验数据同步更新。

进一步地，所述预设纠错码为：LDPC纠错码。

进一步地，所述网络存储设备组成了一个分布式存储集群，所述分布式存储集群按照如下方法建立：在多个网络存储设备之间建立Peer-to-Peer，P2P连接；以及在索引和信令服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群，其中，所述预设服务器被配置为：提供索引和信令。

为了实现上述目的，根据本申请的另一方面，提供了一种基于网络存储设备集群的数据处理装置。

根据本申请的基于网络存储设备集群的数据处理装置包括：判断模块，当网络存储设备N发起与网络存储设备M的点对点连接，拟从网络存储设备M中读取数据或向网络存储设备M写入数据时，判断所述网络存储设备M是否有效，其中，N和M为整数，表示网络存储设备的ID；恢复模块，用于在网络存储设备M失效时，则尝试采用未失效的所述网络存储设备在网络存储设备N读取数据时恢复数据，并且在所述数据的恢复过程中使所述失效的网络存储设备节点数不超过预设纠错码的容错能力。