[发明专利]数据压缩方法、数据解压缩方法、装置及电子设备

说明书

本公开关于一种数据压缩方法、数据解压缩方法、装置、电子设备及存储介质。所述数据压缩方法，包括：获取待压缩的稀疏特征的原始表示数据，原始表示数据中包括非零特征数组、非零特征数组对应的索引数组、稠密形状数组；根据索引数组，以及预设的索引表示长度，获取稀疏特征的索引分段数据；索引分段数据中包括每个索引分段的段值、段长度和段偏移量；针对非零特征数组中的每个非零特征值，根据索引分段数据将非零特征值以及非零特征值对应的索引值进行合并，得到稀疏特征的压缩表示数组；根据压缩表示数组、索引分段数据，以及稠密形状数组，获取稀疏特征的压缩表示数据。取得了提高数据压缩效率，降低压缩数据的字节数以及信息冗余的有益效果。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据压缩方法、数据解压缩方法、装置、电子设备及存储介质。

背景技术

相关技术中，深度学习模型使用的特征分为稀疏特征和稠密特征。其中，稠密特征是特征的每个维度都有固定长度，且它的值都是稠密有意义的，稀疏特征是指一类特征长度比较大，但通常只有少数几个值不为零，其他都为零的特征，例如广告用户的ID(身份标识)，长度可能是2千万，但只有一个值为1，其他位置为0。在模型训练时，数据的特征通常以小批量(mini-batch)方式存储，而且稀疏特征通常采用三元组的形式表示，而且一个小批量的训练数据中99％可能是稀疏特征，因此针对稀疏特征的有效压缩对训练数据网络传输和读取效率的提升会有很大帮助。

目前，开源的深度学习框架tensorflow采用(index,values,dense_shape)三元组的形式表示稀疏特征。其中values(值)是一个列表，表示这个批次中所有的稀疏特征的值；index(索引)表示values中的每一个值属于哪个样本；dense_shape(稠密形状)表示这一个批次的数据的维度，及它有多少个样本，每个样本最多有多少个特征。

但是，上述表示方式需要使用2*|values|个数据表示一个稀疏特征，使得传输数据的字节数仍然太大，并且传输信息有冗余。

发明内容

本公开提供一种数据压缩方法、数据解压缩方法、装置、电子设备及存储介质，以至少解决相关技术中针对稀疏特征的传输数据字节数较大，传输信息有冗余的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种数据压缩方法，包括：

获取待压缩的稀疏特征的原始表示数据，所述原始表示数据中包括非零特征数组、非零特征数组对应的索引数组、稠密形状数组；

根据所述索引数组，以及预设的索引表示长度，获取所述稀疏特征的索引分段数据；所述索引分段数据中包括每个索引分段的段值、段长度和段偏移量；

针对所述非零特征数组中的每个非零特征值，根据所述索引分段数据将所述非零特征值以及所述非零特征值对应的索引值进行合并，得到所述稀疏特征的压缩表示数组；

根据所述压缩表示数组、所述索引分段数据，以及所述稠密形状数组，获取所述稀疏特征的压缩表示数据。

可选地，所述根据所述索引数组，以及预设的索引表示长度，获取所述稀疏特征的索引分段数据的步骤，包括：

根据预设的索引表示长度，获取所述稀疏特征的索引值上限；

以所述索引值上限为参照，对所述索引数组进行分段，并获取每个索引分段的段值、段长度和段偏移量。

可选地，所述针对所述非零特征数组中的每个非零特征值，根据所述索引分段数据将所述非零特征值以及所述非零特征值对应的索引值进行合并，得到所述稀疏特征的压缩表示数组的步骤，包括：

针对所述非零特征数组中的每个非零特征值，根据所述索引分段数据，获取所述非零特征值对应的索引值；