[发明专利]网页解析中网页正文重复内容的处理方法及装置

权利要求书

1.一种网页解析中网页正文重复内容的处理方法，其特征在于，包括：

确定待处理文本，其中，所述待处理文本为网页页面解析中网页正文含有重复内容的文本，所述待处理文本包括多个基本语句，所述待处理文本中内容相同的语句为同一基本语句；

获取多个语句频次，其中，所述多个语句频次分别为所述多个基本语句在所述待处理文本中出现的次数；

获取多个频次次数，其中，所述多个语句频次中出现次数相同的语句频次为同一计数频次，每个所述计数频次在所述多个语句频次中出现的次数为一个频次次数；

获取多个待处理语句的信息，其中，所述多个待处理语句的信息分别为所述多个频次次数对应基本语句的信息；以及

根据所述多个待处理语句的信息对所述网页正文中的重复内容进行过滤处理；

其中，所述多个待处理语句包括第一待处理语句和第二待处理语句，获取多个待处理语句的信息包括：

确定第一位置数据，其中，所述第一位置数据为所述第一待处理语句在所述待处理文本中第一次出现时开始位置的数据；

确定第二位置数据，其中，所述第二位置数据为所述第二待处理语句在所述待处理文本中第一次出现时开始位置的数据；以及

将所述第一位置数据和所述第二位置数据作为所述多个待处理语句的信息；

根据所述多个待处理语句的信息对所述网页正文中的重复内容进行过滤处理包括：

判断所述第一位置数据是否小于所述第二位置数据；

如果所述第一位置数据小于所述第二位置数据，确定第三位置数据，其中，所述第三位置数据为所述第一待处理语句在所述待处理文本中第二次出现时开始位置的数据；以及

根据所述第一位置数据和所述第三位置数据对所述网页正文中的重复内容进行过滤处理，得到第一候选网页正文，其中，所述第一候选网页正文为所述待处理文本中所述第一位置数据与所述第三位置数据之间的文本。

2.根据权利要求1所述的方法，其特征在于，在判断所述第一位置数据是否小于所述第二位置数据之后，所述方法还包括：

如果所述第一位置数据大于所述第二位置数据，确定第四位置数据，其中，所述第四位置数据为所述第二待处理语句在所述待处理文本中的第二次出现时开始位置的数据；以及

根据所述第二位置数据和所述第四位置数据对所述网页正文中的重复内容进行过滤处理，得到第二候选网页正文，其中，所述第二候选网页正文为所述待处理文本中所述第二位置数据与所述第四位置数据之间的文本。

3.根据权利要求1所述的方法，其特征在于，确定所述待处理文本包括：

获取候选待处理文本，其中，所述候选待处理文本为所述网页页面解析中网页正文的文本；

按照预设条件将所述候选待处理文本分割为多个分割语句；

确定所述多个分割语句中的多个待判断语句，其中，所述多个分割语句中内容相同的语句为同一个待判断语句；

获取多个第一频率，其中，所述多个第一频率分别为所述多个待判断语句在所述候选待处理文本中出现的频率；

根据所述多个第一频率判断所述候选待处理文本中是否含有重复内容；以及

如果所述候选待处理文本中含有重复内容，将所述候选待处理文本作为所述待处理文本。