[发明专利]基于纠删码的数据存储方法及装置

说明书

本申请实施例提供一种基于纠删码的数据存储方法及装置，该方法包括：网卡单元获取待存储的第一数据，并将第一数据划分为多个原始数据块。网卡单元根据多个原始数据块进行纠删码处理，得到多个原始数据块所对应的至少一个校验数据块。网卡单元向第二存储服务器发送多个原始数据块和至少一个校验数据块，以使得第二存储服务器对原始数据块以及校验数据块进行存储。通过网卡单元接收到需要存储的第一数据之后，直接由网卡单元进行数据的切分、纠删码编码，以及在完成纠删码编码之后，也直接由网卡单元进行数据的传输，从而可以有效的降低纠删码处理过程中，存储服务器内部的带宽开销。

技术领域

本申请实施例涉及计算机技术，尤其涉及一种基于纠删码的数据存储方法及装置。

背景技术

纠删码是一种前向错误纠正技术，具有良好的容错性和安全性。分布式存储系统通常采用纠删码来实现数据的冗余，以提高存储可靠性。

目前，存储系统通常包括网卡、系统内存、CPU以及存储单元，现有技术中的存储系统在实现纠删码的时候，通常是由网卡首先接收用户数据，之后网卡通过数据传输链路，将用户数据发送给系统内存。然后CPU从系统内存中获取数据，并进行纠删码处理，在得到纠删码处理的码字之后，再将纠删码码字写入系统内存。然后网卡再从系统内存中获取纠删码码字，并写入存储单元。

然而，因为需要在系统内存内部通过数据传输链路进行多次的数据传输，进而会导致系统带宽开销较大，可能会导致存储系统的带宽瓶颈。

发明内容

本申请实施例提供一种基于纠删码的数据存储方法及装置，以克服存储服务器的纠删码处理过程中，系统带宽开销较大的问题。

第一方面，本申请实施例提供一种基于纠删码的数据存储方法，包括：

所述网卡单元获取待存储的第一数据，并将所述第一数据划分为多个原始数据块；

所述网卡单元根据所述多个原始数据块进行纠删码处理，得到所述多个原始数据块所对应的至少一个校验数据块；

所述网卡单元向第二存储服务器发送所述多个原始数据块和所述至少一个校验数据块，以使得所述第二存储服务器对所述原始数据块以及所述校验数据块进行存储。

第二方面，本申请实施例提供一种基于纠删码的数据存储装置，包括：

获取模块，用于获取待存储的第一数据，并将所述第一数据划分为多个原始数据块；

处理模块，用于根据所述多个原始数据块进行纠删码处理，得到所述多个原始数据块所对应的至少一个校验数据块；

传输模块，用于向第二存储服务器发送所述多个原始数据块和所述至少一个校验数据块，以使得所述第二存储服务器对所述原始数据块以及所述校验数据块进行存储。

第三方面，本申请实施例提供一种基于纠删码的数据存储设备，包括：

存储器，用于存储程序；

处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。

第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计中任一所述的方法。