[发明专利]数据压缩方法、装置、电子设备及计算机可读介质

说明书

本申请实施例提供了一种数据压缩方法、装置、电子设备及计算机可读介质，涉及数据处理领域。其中，所述方法包括：对待压缩的数据块进行特征提取处理，以获得所述数据块的特征数据；基于所述数据块的特征数据，确定所述数据块的压缩特征数据；基于所述数据块的压缩特征数据，对预先确定的数据压缩方式的集合中的数据压缩方式进行筛选处理，以确定用于压缩所述数据块的数据压缩方式。通过本申请实施例，利用数据块的压缩特征数据对集合中的数据压缩方式进行筛选，使得筛选得到的数据压缩方式与待压缩的数据块的数据压缩特性相适应，从而能够有效地提高待压缩的数据块的压缩效果。

技术领域

本申请实施例涉及数据处理领域，尤其涉及一种数据压缩方法、装置、电子设备及计算机可读介质。

背景技术

数据压缩技术是数据库存储系统的关键技术，它不仅能够减小数据的存储开销，而且还能够通过减少数据库存储系统对外部存储空间的额外访问，为数据库存储系统带来可观的性能提升。考虑到不同的数据块所存储的数据记录在数据类型、长度、取值范围等方面存在差异，利用不同的数据压缩方式对同一数据块进行压缩所能达到的压缩效果也不相同。如果所采用的数据压缩方式与数据块的数据压缩特性相适应，可以有效地提高数据块的压缩效果。因此，如何为数据块选择与数据块的数据压缩特性相适应的数据压缩方式成为当前亟待解决的技术问题。

对于列存储数据库，各列的数据独立存储，由此生成的数据块中的各条数据记录的类型相同，且通常具有明显的局部特征，从而更具备可压缩性。利用数据块中的数据记录在取值范围、离散度、有序、连续性等方面的统计特性，可在建立逻辑表时便为每一列数据指定采用的数据压缩方式，以获得最佳的压缩效果。此外，还可通过数据采样，利用数据库中知识库的规则对数据进行特征分析，实现指定步长范围内数据块的数据压缩方式的自主选择。

然而，在实际应用中，为了满足不同的业务需求，数据库存储系统内部可能会采用多种数据存储方式，实现对数据的行列混合存储。这意味着待压缩的数据块集合中既存在着行存储的数据块，也存在着列存储的数据块，并且对于列存储的数据块，与之相邻存储的数据块并不必然属于逻辑表中的同一列，而可能是源自逻辑表中若干条相同数据记录的不同列。此时，有必要以单个数据块的粒度进行数据压缩方式的选择，专门针对列存储数据库的数据压缩方式的选择方法不再适用。另外，在现有技术中，往往需要利用数据库中的知识库的规则人工定义若干数据特征，如数据块中的数据记录的取值范围、离散度、有序、连续性等。由于不同类型和不同存储形式的数据混杂一起，很难通过这些数据特征反应出数据块在可压缩性方面的特性。通过这种方法进行数据压缩方式选择的效果严重依赖于数据特征定义的好坏与否，不合适的数据特征定义在带来巨大的计算开销的同时却不能取得很好的压缩效果，并且针对某一数据集合所定义的数据特征往往并不适用于另一个新的数据集合。

发明内容

本申请的目的在于提出一种数据压缩方法、装置、电子设备及计算机可读介质，用于解决现有技术中存在的如何为数据块选择与数据块的数据压缩特性相适应的数据压缩方式的技术问题。

根据本申请实施例的第一方面，提供了一种数据压缩方法。所述方法包括：对待压缩的数据块进行特征提取处理，以获得所述数据块的特征数据；基于所述数据块的特征数据，确定所述数据块的压缩特征数据；基于所述数据块的压缩特征数据，对预先确定的数据压缩方式的集合中的数据压缩方式进行筛选处理，以确定用于压缩所述数据块的数据压缩方式。

根据本申请实施例的第二方面，提供了一种数据压缩装置。所述装置包括：特征提取模块，用于对待压缩的数据块进行特征提取处理，以获得所述数据块的特征数据；确定模块，用于基于所述数据块的特征数据，确定所述数据块的压缩特征数据；筛选模块，用于基于所述数据块的压缩特征数据，对预先确定的数据压缩方式的集合中的数据压缩方式进行筛选处理，以确定用于压缩所述数据块的数据压缩方式。