[发明专利]章节式文本的章节完整性的识别方法和装置

权利要求书

1.一种章节式文本的章节完整性的识别方法，包括：

从多个站点分别识别出章节式文本的目录页以及多个内容页，其中，每个站点对应一个目录页，每个目录页对应多个内容页；

根据每个目录页对应的多个内容页，确定所述章节式文本在不同站点上的目录页集合；

分析所述目录页集合中各目录页和/或各目录页对应的内容页，根据分析得到的结果识别出所述目录页集合中各目录页的章节完整性；

其中，所述从多个站点分别识别出章节式文本的目录页以及多个内容页，包括：从多个站点搜索到章节式文本相关的网页；从搜索到的网页中识别出所述章节式文本的目录页以及多个内容页。

2.根据权利要求1所述的方法，其中，根据每个目录页对应的多个内容页，确定所述章节式文本在不同站点上的目录页集合，包括：

计算每两个目录页对应的内容页之间的交集，并作为每两个目录页的交集；

根据每两个目录页的交集，确定所述章节式文本在不同站点上的目录页集合。

3.根据权利要求2所述的方法，其中，所述计算每两个目录页对应的内容页之间的交集，包括：

提取多个目录页对应的内容页中每个内容页的文本特征向量；

将具备相同文本特征向量的内容页进行聚类，生成多个内容页分组；

根据所述多个内容页分组、以及每个目录页与其对应的内容页的映射关系，计算每两个目录页对应的内容页之间的交集。

4.根据权利要求2所述的方法，其中，根据每两个目录页的交集，确定所述章节式文本在不同站点上的目录页集合，包括：

将交集的元素个数大于或等于预设阈值的每两个目录页进行合并，得到合并结果；

将所述合并结果作为所述章节式文本在不同站点上的目录页集合。

5.根据权利要求1至4任一项所述的方法，其中，分析所述目录页集合中各目录页和/或各目录页对应的内容页，根据分析得到的结果识别出所述目录页集合中各目录页的章节完整性，包括：

计算所述目录页集合中每两个目录页的交集的元素个数的平均值；

若某一目录页与所述目录页集合中多个其他目录页的交集的元素的个数均小于所述平均值，则确定该目录页对应的章节不完整。

6.根据权利要求1至4任一项所述的方法，其中，分析所述目录页集合中各目录页和/或各目录页对应的内容页，根据分析得到的结果识别出所述目录页集合中各目录页的章节完整性，包括：

若某一目录页对应的内容页包含有所述目录页集合中多个其他目录页对应的内容页，且该目录页对应的内容页中还存在其他内容页，则确定所述其他内容页为最新章节的内容页，且该目录页具备持续贡献新章节的能力。

7.根据权利要求1至4任一项所述的方法，其中，分析所述目录页集合中各目录页和/或各目录页对应的内容页，根据分析得到的结果识别出所述目录页集合中各目录页的章节完整性，包括：

若某一目录页对应的某个内容页未存在于所述目录页集合中其他目录页对应的内容页中，且该内容页长度不属于该目录页对应的内容页的平均长度对应的区间范围，则确定该内容页为虚假的内容页。

8.根据权利要求1至4任一项所述的方法，其中，分析所述目录页集合中各目录页和/或各目录页对应的内容页，根据分析得到的结果识别出所述目录页集合中各目录页的章节完整性，包括：

若某一目录页对应的某个内容页未存在于所述目录页集合中其他目录页对应的内容页中，该内容页长度属于该目录页对应的内容页的平均长度对应的区间范围，且该目录页不具备持续贡献新章节的能力，则确定该内容页为虚假的内容页。

9.根据权利要求1至4任一项所述的方法，其中，从搜索到的网页中识别出所述章节式文本的目录页以及多个内容页，包括：

将搜索到的网页解析成文本对象模型树结构；

对所述文本对象模型树结构中的各结点进行分类，以确定所述网页的结构分块；

根据所述结构分块抽取所述章节式文本的目录页以及多个内容页。