[发明专利]一种对象数据的存储方法、装置及介质

说明书

本发明公开了一种对象数据的存储方法、装置及介质，适用于数据存储技术领域。借助AEP文件低延时、非易失、寿命高的特点，将待聚合的对象数据写入AEP文件中，控制聚合线程遍历AEP文件内的对象数据；当对象数据满足聚合要求时，对满足聚合要求的对象数据聚合为rados对象，并下刷至HDD盘中以便完成对象数据的存储。将现有的离线聚合从NVME盘向HDD盘的数据写入调整为AEP文件到HDD盘，缓解了现有的离线聚合方式的写放大、下刷不及时的问题，提高对象的写入速度和聚合效率，通过对象聚合，减少rados对象的数量，提高重构速度和系统的性能，同时提高HDD盘的空间利用率和故障恢复速度。

技术领域

本发明涉及数据存储技术领域，特别是涉及一种对象数据的存储方法、装置及介质。

背景技术

随着互联网的发展，互联网数据量越来越大，分布式对象存储应运而生，该新兴的存储方式，适用于图片、视频等非结构化数据的存储，同时具有块存储高速直接访问磁盘以及文件存储分布式共享的特点，故得到广泛的发展与应用。

目前在分布式对象存储中，存在的海量小对象数据在存储故障发生时，以小对象数据为单位进行数据的恢复导致的时间较长影响用户业务。基于此，针对海量小对象实现小对象聚合，将多个小对象聚合为一个大对象，将对象写入以逻辑设备接口规范协议(Non-Volatile Memory express，NVME)为介质的固态硬盘的缓存池中，再使用聚合线程离线扫描待聚合的小对象数据，聚合为大对象后下刷到以硬盘驱动器(Hard Disk Drive，HDD)为介质的机械硬盘的数据池中。与此同时，由于以NVME存在明显的擦写次数缺陷，频繁的写入存在聚合时写放大，对应删除NVME固态硬盘的数据影响其NVME固态硬盘的工作寿命；离线聚合的方式需要频繁扫描小对象，由于存在海量的小对象数据，在下刷过程中可能会占用其他工作业务的线程导致的下刷不及时的现象产生，导致存储的可靠性降低，影响用户的体验效果。

因此，寻求一种对象数据的存储方法是本领域技术人员亟需要解决的。

发明内容

本发明的目的是提供一种对象数据的存储方法、装置及介质，缓解了现有的离线聚合方式的写放大、下刷不及时的问题，提高对象的写入速度和聚合效率。

为解决上述技术问题，本发明提供一种对象数据的存储方法，包括：

获取前端业务写入本地系统的待聚合的对象数据；

将对象数据的数据部分保存至AEP文件中，其中，对象数据包括数据部分和元数据部分；

控制聚合线程遍历AEP文件内的对象数据；

当对象数据满足聚合要求时，对满足聚合要求的对象数据聚合为rados对象，并下刷至HDD盘中以便完成对象数据的存储。

优选地，在获取前端业务写入本地系统的待聚合的对象数据之前，还包括：

接收写入本地系统的初始对象数据以及对应的存储字节；

判断初始对象数据的存储字节是否小于或等于预设存储字节；

若是，则确定初始对象数据为待聚合的对象数据。

优选地，聚合要求为对象数据的存储字节等于存储阈值，其中存储阈值大于预设存储字节，确定对象数据满足聚合要求，包括：

获取AEP文件的对象数据对应的存储字节；

选取前N个对象数据并统计前N个对象数据的存储字节；

判断前N个对象数据的存储字节是否达到存储阈值；

若是，则确定前N个对象数据满足聚合要求；