[发明专利]文本压缩的方法和装置

权利要求书

1.一种文本压缩的方法，其特征在于，包括：

为源文本生成类别标签；

利用所述类别标签查找高频编码库中相应的类别编码库，所述高频编码库是指以高频文本块的编码数据形成的编码库，根据高频文本块所属类别的不同分为一个或多个类别编码库；

利用所述类别编码库中的编码数据对所述源文本进行编码序列化，得到压缩后文本。

2.根据权利要求1所述的方法，其特征在于，在为源文本生成类别标签之前，所述方法还包括：设置所述高频编码库。

3.根据权利要求2所述的方法，其特征在于，设置所述高频编码库包括：

将历史文本数据按照类别不同进行分类；

检索各类别中历史文本数据的高频文本块；

利用编码算法对所述高频文本块进行编码，生成编码数据；

将所述高频文本块与对应的所述编码数据的对应关系保存至按类别进行维度区分的高频编码库中。

4.根据权利要求3所述的方法，其特征在于，所述设置高频编码库还包括：

按照预设补充标准，利用新增热点文本数据中的高频文本块对应的编码数据动态补充所述高频编码库。

5.根据权利要求3或4所述的方法，其特征在于，所述编码算法为TF-IDF算法和/或LZW压缩算法。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述压缩后文本有解码需求时，根据所述压缩后文本中包含的编码数据和所述编码数据与高频文本块的对应关系对所述压缩后文本进行解码反序列化，得到源文本。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：通过所述源文本生成的摘要和/或MD5值进行解码校验。

8.一种文本压缩的装置，其特征在于，包括：

分类模块，用于为源文本生成类别标签；

查找模块，用于利用所述类别标签查找高频编码库中相应的类别编码库，所述高频编码库是指以高频文本块的编码数据形成的编码库，根据高频文本块所属类别的不同分为一个或多个类别编码库；

压缩模块，用于利用所述类别编码库中的编码数据对所述源文本进行编码序列化，得到压缩后文本。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。