[发明专利]一种数据压缩方法及装置

说明书

本申请实施例公开了一种数据压缩方法及装置，涉及压缩编码领域，解决了在对待压缩数据进行压缩时，如何既能保证较高的压缩性能，又能获得较高的压缩率的问题。具体方案为：编码待压缩数据得到n个压缩元组，分类n个压缩元组得到m个数据集合；根据第i个数据集合中的数据特点确定第i个数据集合的编码类型，得到第i个数据集合的编码表，i的取值为1到m；根据第i个数据集合的编码类型和编码表，编码第i个数据集合得到编码后数据集合i；生成压缩数据，压缩数据包括压缩头和m个编码后数据集合，压缩头包括n、m、第i数据集合的编码类型和编码后数据集合i的长度。本申请实施例用于压缩编码的过程。

技术领域

本申请实施例涉及压缩编码领域，尤其涉及一种数据压缩方法及装置。

背景技术

目前，数据压缩技术(Data compression technology)已成为当今数字通信、广播、存储和多媒体娱乐中的一项关键的共性技术。数据压缩技术的基本思想是对待压缩数据中重复的数据用占用空间较少的符号或代码来代替，使得压缩后的数据占用更少的磁盘存储空间或更短的传输时间。现有的数据压缩算法包括字典(Abraham Lempel and JacobZiv，LZ)编码系列、Snappy编码和ZILB编码等。其中，LZ编码系列是目前常用的数据压缩算法，其核心思想是在历史窗口中查找是否有相同的数据，如果有相同的数据，那么就会生成对应的匹配信息，来达到数据缩减的目的，但是，LZ编码系列作为高性能的数据压缩算法，仅仅找出来匹配数据，并将匹配信息进行简单的编码，并未进行复杂的压缩，压缩率无法满足更高需求，压缩率很低；Snappy编码是一个基于C++编程语言编写的用来压缩和解压缩的开发包，与LZ编码有着相同的缺点，即压缩性能较高，压缩率很低；ZILB编码，简单来说其核心思想是先将待压缩数据中重复的字符串，替换成距离对或长度对，再对替换后的数据，使用哈夫曼(huffman)编码，将字符按出现频率重新编码，同时在替换过程中，保证不论数据有多大，所占用的内存都是可控的。虽然，ZILB编码的压缩率较高，但是，其压缩性能很低。因此，现有的数据压缩算法不是压缩率很低，就是压缩性能很低，那么，如何在对待压缩数据进行压缩时，既能保证较高的压缩性能，又能获得较高的压缩率是一个亟待解决的问题。

发明内容

本申请实施例提供一种数据压缩方法及装置，解决了在对待压缩数据进行压缩时，如何既能保证较高的压缩性能，又能获得较高的压缩率的问题。

为达到上述目的，本申请实施例采用如下技术方案：

本申请实施例的第一方面，提供一种数据压缩方法，包括：首先，编码待压缩数据得到n个压缩元组，并对n个压缩元组进行分类得到m个数据集合，m个数据集合中每个数据集合包括n个数据，n为大于等于1的整数，m为大于等于1的整数；然后，确定对m个数据集合中每个数据集合进行编码的编码类型，得到m个编码表，即根据第i个数据集合中的数据特点确定第i个数据集合的编码类型，得到第i个数据集合的编码表，其中，i为整数，i的取值为1到m；对m个数据集合中每个数据集合进行编码，得到m个编码后数据集合，即根据第i个数据集合的编码类型和编码表，编码第i个数据集合得到编码后数据集合i；最后，生成压缩数据，压缩数据包括压缩头和m个编码后数据集合，压缩头包括n、m、第i数据集合的编码类型和编码后数据集合i的长度，其中，n表示对待压缩数据进行编码后得到的压缩元组的个数，m表示对n个压缩元组进行分类得到的数据集合的个数。本申请实施例提供的数据压缩方法采用分类处理的方法进一步地对压缩元组进行分类，得到数据集合，并根据数据集合的数据特点，确定最佳的编码方法，对数据集合再次进行编码，以便得到最优的压缩效果，获得较高的压缩率，而且，由于每类数据采用一种编码方法，编码和解码时无需频繁的替换缓存(cache)中的编码表，最大程度利用系统cache，提升压缩性能。因此，本申请实施例提出的数据压缩方法可以兼顾压缩率与压缩性能，在对待压缩数据进行压缩时，既能保证较高的压缩性能，又能获得较高的压缩率，而且有效地降低了能源消耗率。