[发明专利]分片管理方法和分片管理装置

说明书

一种分片管理技术，应用于存储系统中，所述存储系统包括第一存储介质和第二存储介质；该方法包括：将第一数据分片存储到所述第一存储介质；将所述第一数据分片的第一校验分片存储到所述第二存储介质；其中，所述第一存储介质的存储性能与所述第二存储介质的存储性能不同。应用该技术可以减少高速存储介质的占用量，降低存储系统成本。

本案是专利申请号为201710515966.2，申请日为2017年6月29日，发明名称为“分片管理方法和分片管理装置”的分案申请。

技术领域

本发明涉及计算机技术，尤其涉及存储领域。

背景技术

云存储等分布式存储方式现在日益流行。随着信息的爆炸式增长，用户在云存储系统的数据规模也越来越大。不断增长的数据量给存储服务提供商和用户都带来了成本的压力。

云存储系统为提高数据可靠性，会对数据进行纠删码(erasure code，EC)技术冗余，冗余后的数据分为数据片和校验片(统称为分片)，在分片损坏总数不超过阈值的情况下，任意损坏若干分片，依靠未损坏的分片可以把损坏的分片重构出来。更进一步，除了EC之外，还可以使用本地重建码(local reconstruction code，LRC)技术，在LRC技术中，校验片包括本地校验片(local parity)和全局校验片(global parity)。本地校验片可用于对本数据中心(data center)少量分片损坏的情况下对分片进行恢复；全局校验片可用于在损坏分片数较多时进行EC方式的数据恢复。数据片和校验片可以分布在多个数据中心，本地校验片保护数据中心内的数据，全局校验片在某个数据中心故障时保证数据可恢复。

虽然校验分片可以提高数据可靠性。然而，校验分片也会占用大量的存储空间，当占用的是昂贵的高速存储介质时，会导致用户使用成本的大幅升高。

发明内容

第一方面，本发明提供一种分片管理方法的实施方式，该方法可以应用于在分布式存储系统中，所述分布式存储系统包括计算节点和至少一个存储节点，所述存储节点包括至少一个存储介质，分布式存储系统包括多个存储介质，不同分片存储于不同的存储介质，数据分片和第一校验分片均位于第一级存储介质中，该方法包括：计算节点读取所述第一校验分片的元数据，从中获得所述第一校验分片所在的第一存储位置；所述计算节点选择第二存储位置，所述第二存储位置位于第二级存储介质，所述第二级存储介质的读取速度低于所述第一级存储介质，所述第二存储位置拥有空闲空间；所述计算节点向所述第一校验分片所在的存储节点发送迁移指示，指示所述第一校验分片所在的存储节点把所述第一校验分片发送给第二存储位置所在的存储节点；第二存储位置所在的存储节点把所述第一校验分片存储到第二存储位置；所述计算节点指示把所述第二存储位置的信息更新到所述第一校验分片的元数据。

使用该方法，可以把EC的校验分片或者LRC的全局校验分片，从成本较高的高速存储介质迁移到成本较低的低速存储介质中，节约了高速存储介质的占用。

第一方面的第一种可选方案：计算节点读取所述第二校验分片的元数据，从中获得所述第二校验分片所在的第三存储位置；所述计算节点选择第四存储位置，所述第四存储位置位于第三级存储介质，所述第三级存储介质的读取/写入速度高于所述第二级存储介质、且低于第一级存储介质，所述第四存储位置拥有空闲空间；所述计算节点向所述第二校验分片所在的存储节点发送迁移指示，指示所述第二校验分片所在的存储节点把所述第二校验分片发送给所述第四存储位置所在的存储节点；所述第四存储位置所在的存储节点把所述第二校验分片存储到第二存储位置；所述计算节点指示把所述第四存储位置的信息更新到所述第一校验分片的元数据。

使用该方法，可以把LRC的本地校验分片，从成本较高的高速存储介质迁移到成本较低的低速存储介质中，节约了高速存储介质的占用。并且，考虑到LRC的本地校验分片的使用率高于LRC的全局校验分片，因此其迁入存储介质的读/写速度要高于LRC的全局校验分片所迁入的存储介质的读/写速度。