[发明专利]分布式存储集群的数据写入方法、装置、设备和介质

说明书

本发明公开了一种分布式存储集群的数据写入方法、装置、设备和介质。其中方法包括对接收到的待写入数据进行分片处理，得到待写入数据分片，待写入数据分片的数量为大于或者等于1的正整数；确定待写入数据分片的目标对象存储设备；计算待写入数据分片的大小和目标对象存储设备的已用存储空间之和；若待写入数据分片的大小和目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取待写入数据分片的新目标对象存储设备，以将待写入数据分片写入到新目标对象存储设备中。本发明实现在任意对象存储设备的存储空间使用率达到使用率上限时，使得分布式存储集群能够继续执行数据写入操作，保证数据业务的正常运行，提高了用户体验。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种分布式存储集群的数据写入方法、装置、设备和介质。

背景技术

现有监控部署需要配套大量后端存储设备，存储采集的监控数据。而分布式存储集群可以通过多个对象存储设备(Object Storage Device，简称OSD)对外提供存储服务，且具备易扩展、单点故障不丢失数据、故障恢复快等优势，因此分布式存储集群可在监控领域中大量部署。

具体的，分布式存储集群的基本框图可如图1所示，其中调度层主要负责确定业务层下发的写IO分配至对象存储设备组(Object Storage Device Group，简称OSDG)层中哪一OSDG，然后通过OSDG层确定与OSDG对应的OSD列表，其中一个OSDG由多个OSD组成。也就是说，调度层与OSDG层决定了数据的分布，确保数据能够均衡存储至分布式存储集群中的每个OSD中。如图1所示分布式存储集群的底层是由多个存储节点组成，每个存储节点中包括多个OSD，且每个OSD对应一个硬盘或者一个磁盘阵列。其中，多个OSD分为一个主OSD和多个从OSD，主OSD主要负责接收从OSDG层下发的读、写IO并进行处理。

在实际使用过程中，当分布式存储集群中的OSD存储空间使用率达到预警阈值时，可对分布式存储集群进行扩容。其中，对分布式存储集群进行扩容时，为了使得分布式存储集群尽快完成均衡，可在不影响数据写入业务的正常运行的前提下，通过加大数据迁移力度，以将存储空间使用率高的OSD中的数据迁移至存储空间使用率低的OSD中。但是由于数据迁移具有随机性，这就存在存储空间使用率高的OSD中数据迁移不均衡，导致该OSD的存储空间使用率仍然很高，并且在数据迁移过程中仍然会有数据的写入，当该OSD上数据写入的速度高于数据迁出的速度时，可能会导致分布式存储集群在未完成均衡之前，该OSD的存储空间使用率已达到使用率上限，进而导致整个分布式存储集群无法继续执行数据写入操作。

因此，针对分布式存储集群扩容过程中OSD存储空间使用率达到使用率上限时，如何继续执行数据写入操作，是目前亟需解决的问题。

发明内容

本发明实施例提供一种分布式存储集群的数据写入方法、装置、设备和介质，用于解决相关技术中，分布式存储集群扩容过程中OSD存储空间使用率达到使用率上限时，导致整个分布式存储集群无法继续执行数据写入操作的问题。

第一方面，本发明实施例提供了一种分布式存储集群的数据写入方法，该方法包括：

对接收到的待写入数据进行分片处理，得到待写入数据分片，所述待写入数据分片的数量为大于或者等于1的正整数；

确定所述待写入数据分片的目标对象存储设备；

计算所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和；

若所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取所述待写入数据分片的新目标对象存储设备，以将所述待写入数据分片写入到新目标对象存储设备中。

第二方面，本发明实施例还提供了一种分布式存储集群的数据写入装置，该装置包括：