[发明专利]数据存储方法、装置、设备及介质

说明书

本发明公开了数据存储方法、装置、设备及介质，由于本发明实施例中，在增加节点并将故障域由OSD切换为HOST后，更新了预先保存的Object与PG的映射关系以及预先保存的PG与OSD的映射关系，并基于更新后的映射关系确定Object对应的第一OSD的标识值与更新前Object对应的第二OSD的标识值，确定OSD指向发生变化的目标Object，并将该目标Object对应的目标OSD的标识值保持为第二OSD的标识值，以使目标Object仍然存储在添加节点之前的OSD中，避免了集群内部有大量的数据迁移，提高用户体验。

技术领域

本发明涉及开源的分布式存储技术领域，尤其涉及数据存储方法、装置、设备及介质。

背景技术

分布式文件系统(Ceph)支持对象、块、文件存储，且适用于各种适用场景，同时具有数据均衡，负载分担，动态修复，计算寻址等优秀的特性，所以分布式文件系统在目前的云计算场景下被广泛应用，并且作为k8s，Openstack等官方支持的存储后端，在今后的云计算发展中必将发挥更重要的作用。

在一些场景中，一开始可能只有单节点的设备，此时若为多副本存储，则Object不能存储在不同节点对应的设备的对象存储设备(Object-based Storage Device，OSD)中，也就是说此时故障域只能选择OSD。存储一段时间后，由于存储空间有限，需要添加新的节点，也就是增加新的设备，由于多节点时，故障域可以选择HOST，其中，故障域为HOST时，相比于故障域为OSD，存储数据的安全等级更高。因此，可以在增加节点时，将故障域由OSD切换为HOST，但是将故障域切换至HOST的过程中，因为新节点的增加，存储池的PG个数也会相应增加，OSD也会增加，由于当PG的总数量发生变化时，Objects到PGs的映射随即发生变化，随着OSD个数增加和故障域切换，集群拓扑、crush规则都发生了变化，此时PGs到OSDs的映射也随即发生变化，则势必会导致集群内部有大量的数据迁移以实现数据重平衡，使得集群内各节点的cpu利用率、负载等加大，且数据重平衡的时间过长，则会导致用户处理业务不及时，影响用户体验。

发明内容

本发明提供了一种数据存储方法、装置、设备及介质，用以解决现有技术中增加节点并将故障域由OSD切换为HOST后，导致集群内部有大量的数据迁移，导致集群内各节点的cpu利用率、负载等加大，影响用户体验的问题。

本发明提供了一种数据存储方法，包括：

根据目标集群拓扑中更新后的PG的数量对预先保存的Object与PG的映射关系进行更新；并根据所述目标集群拓扑、目标数据分布策略以及CRUSH算法对预先保存的PG与OSD的映射关系进行更新；

针对每个存储文件切分后获得的每个Object，根据该Object的标识值、更新后的Object与PG的映射关系以及更新后的PG与OSD的映射关系，确定该Object对应的第一OSD的标识值；根据该Object的标识值、更新前的Object与PG的映射关系以及更新前的PG与OSD的映射关系，确定该Object对应的第二OSD的标识值；若所述第一OSD的标识值与所述第二OSD的标识值不相同，则将该Object确定为目标Object；

将所述目标Object对应的目标OSD的标识值保持为所述第二OSD的标识值。

进一步地，所述根据目标集群拓扑中更新后的PG的数量对预先保存的Object与PG的映射关系进行更新之前，所述方法还包括：

判断存储是否为多副本存储；

若是，则将存储由多副本存储设置为单副本存储，并将集群状态设置为第一预设状态。