[发明专利]一种数据处理方法、装置、设备及存储介质

说明书

本公开涉及一种数据存储方法、装置、设备及存储介质，所述格式转换方法包括：获取已删除对象的对象标识；将所述对象标识划分为至少两部分；将划分后的对象标识以键值对的形式压缩后进行存储。本公开实施例通过将已删除的对象标识按照按键值对的形式压缩之后再进行存储，以减少系统大量删除带来的内存增加，在一定程度上提高系统的可用性，保证系统服务更加可靠。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据存储方法、装置、设备及存储介质。

背景技术

现有的分布式对象存储系统存储文件时在应用上层做了数据切分，最大文件大小为5M，数据存储结构采用不同的逻辑层次进行划分，分集群（Cluster），数据服务器（DataServer），存储单元（Block），对象（Object）粒度。分布式对象存储系统为了节省内存，在系统启动的时候采用抽样加载的方式，即加载Block时，按照一定的策略，只加载某一些object进入内存。在此种方式下，针对删除每秒查询率（qps）较大的Block，将所有删除对象的对象标识存储在特定集合中，查询时首先从该特定集合中查找，找到则认为已经删除。

针对删除每秒查询率（qps）较大的Block，将所有删除对象的对象标识存储在特定集合中，随着删除的不断进行，内存呈现出递增的趋势，降低了现有系统稳定性和可靠性。

发明内容

本公开提供了一种数据存储方法、装置、设备及存储介质，将已删除的对象标识压缩之后再进行存储，以减少系统大量删除带来的内存增加，在一定程度上提高系统的可用性，保证系统服务更加可靠。

第一方面，本公开实施例提供一种数据存储方法，包括：

获取已删除对象的对象标识；

将所述对象标识划分为至少两部分；

将划分后的对象标识以键值对的形式压缩后进行存储。

在一个实施方式中，获取已删除对象的数据标识信息之前，还包括：

接收到对象删除指令后，删除数据存储单元中与所述对象删除指令对应的对象；

将所述对象删除指令对应的对象作为已删除对象。

在一个实施方式中，所述对象标识以二进制的形式表示；

将所述对象标识划分为至少两部分，包括：

将所述对象标标识中的高位比特串作为其中一部分对象标识；

将所述对象标标识中的低位比特串作为另一部分对象标识。

在一个实施方式中，所述高位比特串和所述低位比特串的比特位数相等。

在一个实施方式中，将划分后的对象标识以键值对的形式压缩后进行存储，包括；

将其中一部分对象标识转换为公共前缀并作为键值对中的键，另一部分对象标识作为键值对中的值，得到键值对数据；

将所述键值对数据进行存储。

在一个实施方式中，将其中一部分对象标识转换为公共前缀并作为键值对中的键，包括：

基于所述其中一部分对象标识以及公共前缀与比特串的对应关系，确定所述其中一部分对象标识对应的公共前缀；

将所述其中一部分对象标识对应的公共前缀作为键值对中的键。

在一个实施方式中，所述方法还包括：

接收到对象标识查询指令后，获取所述对象标识查询指令中携带的对象标识；

如果查询到对象标识查询指令中携带的对象标识对应的键值对，则确定所述对象标识对应的对象已删除。

第二方面，本公开实施例提供一种数据存储装置，包括：

获取模块，用于获取已删除对象的对象标识；

划分模块，用于将所述对象标识划分为至少两部分；

存储模块，用于将划分后的对象标识以键值对的形式存储。