[发明专利]一种基于序列化的文档压缩、文档解压方法和装置

权利要求书

1.一种基于序列化的文档压缩方法，包括：

提取准备压缩的多个文档；

从所述多个文档中查找内容相似的多个目标文档；

对所述多个目标文档的一行或多行文档数据计算内容标识；

根据所述内容标识对所述多个目标文档进行序列化，获得一个或多个数据块；

将所述一个或多个数据块进行压缩处理，获得压缩对象；

其中，所述根据所述内容标识对所述多个目标文档进行序列化，获得一个或多个数据块的步骤包括：

提取所述多个目标文档中、内容标识相同的文档数据；

将所述内容标识相同的文档数据写入同一个数据块中。

2.如权利要求1所述的方法，其特征在于，所述从所述多个文档中查找内容相似的多个目标文档的步骤包括：

计算所述多个文档的URL的相似性；

当所述相似性超过预设的相似性阈值时，确认所述多个文档为多个目标文档。

3.如权利要求1或2所述的方法，其特征在于，所述根据所述内容标识对所述多个目标文档进行序列化，获得一个或多个数据块的步骤还包括：

对所述多个目标文档中、内容标识相同的文档数据进行编号；

记录所述文档数据在所属的目标文档中的位置。

4.如权利要求1或2所述的方法，其特征在于，所述多个文档以Host逆序的URL为行键，存储在数据库中。

5.一种基于序列化的文档解压方法，包括：

提取预先压缩的压缩对象，所述压缩对象中具有一个或多个数据块；其中，一个或多个所述数据块中包括多个内容标识相同的文档数据；

对所述一个或多个数据块进行解压处理，每个数据块具有关联的内容标识；

根据内容标识对解压处理之后的一个或多个数据块进行反序列化，获得多个目标文档。

6.如权利要求5所述的方法，其特征在于，所述根据内容标识对解压处理之后的一个或多个数据块进行反序列化，获得多个目标文档的步骤包括：

读取解压处理之后的一个或多个数据块中的文档数据，所述文档数据具有编号和内容标识；

按照所述编号计算所述文档数据所属的目标文档；

按照所述内容标识查找所述文档数据在所属的目标文档中的位置；

将所述文档数据写入所述目标文档中的位置。

7.一种基于序列化的文档压缩装置，包括：

文档提取模块，适于提取准备压缩的多个文档；

目标文档查找模块，适于从所述多个文档中查找内容相似的多个目标文档；

内容标识计算模块，适于对所述多个目标文档的一行或多行文档数据计算内容标识；

序列化模块，适于根据所述内容标识对所述多个目标文档进行序列化，获得一个或多个数据块；

压缩模块，适于将所述一个或多个数据块进行压缩处理，获得压缩对象；

其中，所述序列化模块还适于：

提取所述多个目标文档中、内容标识相同的文档数据；

将所述内容标识相同的文档数据写入同一个数据块中。

8.如权利要求7所述的装置，其特征在于，所述目标文档查找模块还适于：

计算所述多个文档的URL的相似性；

当所述相似性超过预设的相似性阈值时，确认所述多个文档为多个目标文档。

9.如权利要求7或8所述的装置，其特征在于，所述序列化模块还适于：

对所述多个目标文档中、内容标识相同的文档数据进行编号；

记录所述文档数据在所属的目标文档中的位置。

10.如权利要求7或8所述的装置，其特征在于，所述多个文档以Host逆序的URL为行键，存储在数据库中。