[发明专利]章节式文本的章节完整性的识别方法和装置

说明书

技术领域

本发明涉及互联网技术领域，特别是一种章节式文本的章节完整性的识别方法和装置。

背景技术

随着计算机和计算机网络的日益普及，互联网已经深入到人们工作、学习和生活的各个领域，成为人们发布和获取信息的重要途径。

目前，章节式文本在互联网中大量存在，且同一文本可能被不同网站大量转载，由于转载时受到一些客观因素的影响，可能导致在一些网站该文本的内容并不完整，甚至出现内容虚假的情况。以小说文本为例，小说阅读是互联网用户的一种强需求，尤其在移动设备上更占有不小的需求比重。小说类网站大量存在，质量却良莠不齐，同一本网络小说会被不同网站大量转载，但受一些客观因素的影响，可能会导致在一些网站上该本小说的内容并不完整(如缺少章节)，甚至内容虚假(拼凑虚假章节)。搜索引擎在索引这些小说站点时，需要对小说的章节完整性做出判断，尽量给用户呈现内容完整的站点，提高用户获取小说内容的质量，提升用户体验。

相关技术中，通过对不同小说站点人工配置模板进行章节完整性判断，该方法虽然准确率很高，但是缺点也很明显：人力能覆盖的网站有限，不够智能，对于网站模板变化的响应不及时。因而，如何灵活、快速以及准确地识别章节式文本的章节完整性成为目前亟待解决的技术问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的章节式文本的章节完整性的识别方法和相应的装置。

依据本发明的一个方面，提供了一种章节式文本的章节完整性的识别方法，包括：从多个站点分别识别出章节式文本的目录页以及多个内容页，其中，每个站点对应一个目录页，每个目录页对应多个内容页；根据每个目录页对应的多个内容页，确定所述章节式文本在不同站点上的目录页集合；分析所述目录页集合中各目录页和/或各目录页对应的内容页，根据分析得到的结果识别出所述目录页集合中各目录页的章节完整性。

可选地，根据每个目录页对应的多个内容页，确定所述章节式文本在不同站点上的目录页集合，包括：计算每两个目录页对应的内容页之间的交集，并作为每两个目录页的交集；根据每两个目录页的交集，确定所述章节式文本在不同站点上的目录页集合。

可选地，所述计算每两个目录页对应的内容页之间的交集，包括：提取多个目录页对应的内容页中每个内容页的文本特征向量；将具备相同文本特征向量的内容页进行聚类，生成多个内容页分组；根据所述多个内容页分组、以及每个目录页与其对应的内容页的映射关系，计算每两个目录页对应的内容页之间的交集。

可选地，根据每两个目录页的交集，确定所述章节式文本在不同站点上的目录页集合，包括：将交集的元素个数大于或等于预设阈值的每两个目录页进行合并，得到合并结果；将所述合并结果作为所述章节式文本在不同站点上的目录页集合。

可选地，分析所述目录页集合中各目录页和/或各目录页对应的内容页，根据分析得到的结果识别出所述目录页集合中各目录页的章节完整性，包括：计算所述目录页集合中每两个目录页的交集的元素个数的平均值；若某一目录页与所述目录页集合中多个其他目录页的交集的元素的个数均小于所述平均值，则确定该目录页对应的章节不完整。

可选地，分析所述目录页集合中各目录页和/或各目录页对应的内容页，根据分析得到的结果识别出所述目录页集合中各目录页的章节完整性，包括：若某一目录页对应的内容页包含有所述目录页集合中多个其他目录页对应的内容页，且该目录页对应的内容页中还存在其他内容页，则确定所述其他内容页为最新章节的内容页，且该目录页具备持续贡献新章节的能力。

可选地，分析所述目录页集合中各目录页和/或各目录页对应的内容页，根据分析得到的结果识别出所述目录页集合中各目录页的章节完整性，包括：若某一目录页对应的某个内容页未存在于所述目录页集合中其他目录页对应的内容页中，且该内容页长度不属于该目录页对应的内容页的平均长度对应的区间范围，则确定该内容页为虚假的内容页。

可选地，分析所述目录页集合中各目录页和/或各目录页对应的内容页，根据分析得到的结果识别出所述目录页集合中各目录页的章节完整性，包括：若某一目录页对应的某个内容页未存在于所述目录页集合中其他目录页对应的内容页中，该内容页长度属于该目录页对应的内容页的平均长度对应的区间范围，且该目录页不具备持续贡献新章节的能力，则确定该内容页为虚假的内容页。

可选地，所述从多个站点分别识别出章节式文本的目录页以及多个内容页，包括：从多个站点搜索到章节式文本相关的网页；从搜索到的网页中识别出所述章节式文本的目录页以及多个内容页。