[发明专利]基于对象存储系统的数据存储方法及装置、电子设备

说明书

本发明公开了一种基于对象存储系统的数据存储方法及装置、电子设备。其中，该方法包括：获取对象存储节点上的硬盘数量；基于硬盘数量创建不同数据安全类型的存储池；基于存储池，创建对象存储策略，其中，存储策略用于指示对象数据的读写规则；基于对象存储策略执行对象数据的存储。本发明解决了相关技术中数据池扩容带来数据读写性能下降的技术问题。

技术领域

本发明涉及数据存储技术领域，具体而言，涉及一种基于对象存储系统的数据存储方法及装置、电子设备。

背景技术

相关技术中，对象存储系统的存储池可以分为索引池和独立的持久化数据池，通过客户端写入不同大小的对象数据，其中，对象数据中的元数据部分会存放在索引池中，数据部分会经过缓存、归并等流程写入到独立的持久化数据池，当客户端对对象进行读取时，先访问元数据，根据元数据反馈的数据存储位置直接到对应的数据池中读取数据，然后返回给用户。

当独立的持久化数据池将要被写满时，为了避免数据不能持续写入，可以通过在现有的持久化数据池中添加新的硬盘或者增加新的存储节点，来保证业务的连续性。但是当前新增硬盘或者存储节点的方式存在多个弊端：

第一个弊端，添加硬盘或者存储节点，对于已经写入的数据要经过新一轮的自动重平衡，导致硬盘的利用率增加，占用更多的集群资源处理数据迁移，IO时延增加，影响前端业务IO的性能，带来读写性能下降；

第二个弊端，新旧数据存放在同一个存储池中，不能更加有效的区分冷热数据，同样会降低数据读写性能。

第三个弊端，由于对象数据存储过程中是采用随机性分配，导致多个数据池进行数据写入时，有的数据池写入数据较多，有的数据池写入数据较少，数据存储容量差异性较大，带来空间分配不均衡问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种基于对象存储系统的数据存储方法及装置、电子设备，以至少解决相关技术中数据池扩容带来数据读写性能下降的技术问题。

根据本发明实施例的一个方面，提供了一种基于对象存储系统的数据存储方法，所述对象存储系统上包含多个对象存储节点，数据存储方法包括：获取对象存储节点上的硬盘数量；基于所述硬盘数量创建不同数据安全类型的存储池；基于所述存储池，创建对象存储策略，其中，所述存储策略用于指示对象数据的读写规则；基于所述对象存储策略执行对象数据的存储。

可选地，所述数据安全类型包括：多副本类型和纠删码类型。

可选地，在创建所述对象存储策略时，确定对象索引池和缓存池，其中，所述对象索引池用于存储对象元数据，所述缓存池用于缓存对象数据。

可选地，所述对象存储策略中包括：活动数据池和非活动数据池，多个所述活动数据池组合为活动池组，其中，所述活动数据池用于指示读写频率高于预设频率阈值的存储池，所述非活动数据池用于指示读写频率低于等于预设频率阈值的访问频率的存储池。

可选地，基于所述对象存储策略执行对象数据的存储的步骤，包括：基于所述对象存储策略，创建存储桶，其中，所述存储桶用于写入对象数据，以实现所述对象数据的存储。

可选地，在对象数据写入至所述存储桶中的活动数据池后，更新对象索引信息，其中，所述对象索引信息用于记录所述对象数据的写入位置。

可选地，在基于所述对象存储策略执行对象数据的存储之后，所述数据存储方法还包括：设置所述活动池组中每个所述活动数据池的多个属性参数，其中，所述属性参数至少包括：写权重、写入次数；基于所述多个属性参数，计算每个活动数据池的对象写入系数；对所有的对象写入系数进行排序，得到排序结果；基于所述排序结果，将对象写入系数最小的活动数据池作为当前写入数据池。