[发明专利]中文文本压缩方法

说明书

技术领域

本发明涉及数据存储领域，尤其涉及一种中文文本压缩方法。

背景技术

在处理中文文本时，经常遇到中文文本非常大，外部闪存(flash)已经不够用于存储文本，直接更换硬件会带来成本的增加。在不更换硬件的前提下，要解决上述问题，则需要对中文文本进行压缩。常用的大规模的压缩算法，需要的处理器的处理能力较高，并不能适用所有情况。中文文本中存在大量重复性的中文词组，故而有大量的冗余内容，而现有的哈夫曼压缩算法压缩率偏小，只能压缩三分之一左右。因此，需要提供一种兼顾处理器的能力和内存开销的高压缩率的中文文本压缩方法。

哈弗曼编码是以D.A.Huffman在1952年发表的《最小冗余代码的构造方法》为基本理论依据的编码，是一种基于概率模型的无损压缩编码。

哈夫曼算法的过程一般为：统计原始数据中各字符出现的频率；所有字符按频率降序排列；建立哈夫曼树：将哈夫曼树存入结果数据，通过这个二叉树建立哈弗曼编码和解码的字典表，由树的结构得到信源符号相应的码子。

其中，字典算法是最为简单的压缩算法之一。它是把文本中出现频率比较多的单词或词汇组合做成一个对应的字典列表，并用特殊代码来表示这个单词或词汇。例如：

有字典列表：00＝Chinese，01＝People，02＝China。

源文本：I am a Chinese people，I am from China。

压缩后的编码为：I am a 00 01，I am from 02。

压缩编码后的长度显著缩小，这样的编码在专有名词比较多的文档压缩中比较容易出现。

但是，中文不同于英文，没有空格等标志作为单词的区分。

发明内容

因此，本发明的目的在于提供一种中文文本压缩方法，压缩率高，并且对处理器的能力和内存要求较低。

本发明提供一种中文文本压缩方法，包括以下步骤：

步骤10、建立编码字典，包括：

步骤101、对中文文本进行分词；

步骤102、词频统计；

步骤103、对不同词频的词组和其他字符进行统一编码；

步骤104、导出编码字典；

步骤20、根据编码字典对中文源文件进行压缩，得到压缩二进制文件；

步骤30、根据编码字典对压缩二进制文件解压。

所述步骤101中将中文文本分成多个中文词组，所述中文词组由多个中文字符组成。

所述步骤103中将不同词频的词组和其他字符用哈弗曼码进行编码。

所述步骤103中将不同词频的词组和其他字符哈弗曼码进行编码后，得到哈夫曼二叉树，通过该哈夫曼二叉树建立编码字典。

所述步骤103中对词频率高的词组用较少的比特表示，词频率低的词组用较多的比特来表示。

所述步骤30中单片机根据编码字典对压缩二进制文件解压。

综上所述，本发明的中文文本压缩方法，根据中文文本的特点，在字典压缩算法的基础上结合了哈夫曼编码，对中文文本进行分词，将中文文本分成多个中文词组，并统计词频，词频率高的的词组用较少的比特表示，词频率低的词组用较多的比特来表示，使得该方法压缩率高，并兼顾了处理器的能力和内存开销，实现了对中文文本的压缩，从而降低了硬件成本。

附图说明

下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其他有益效果显而易见。

附图中，

图1为本发明中文文本压缩方法的流程图。

具体实施方式

为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。

请参阅图1，本发明提供一种中文文本压缩方法，包括以下步骤：

步骤10、建立编码字典，包括：

步骤101、对中文文本进行分词，将中文文本分成多个中文词组，所述中文词组由多个中文字符组成。

步骤102、词频统计；

步骤103、对不同词频的词组和其他字符用哈弗曼码进行统一编码，得到哈夫曼二叉树，通过该哈夫曼二叉树建立编码字典；

其中在编码过程中，对词频率高的词组用较少的比特表示，词频率低的词组用较多的比特来表示；

步骤104、导出编码字典；

步骤20、根据编码字典对中文源文件进行压缩，得到压缩二进制文件；

步骤30、单片机根据编码字典对压缩二进制文件解压。