[发明专利]网页解析中网页正文重复内容的处理方法及装置

摘要

本发明公开了一种网页解析中网页正文重复内容的处理方法及装置。该方法包括：确定待处理文本；获取多个语句频次，其中，多个语句频次分别为多个基本语句在待处理文本中出现的次数；获取多个频次次数，其中，多个语句频次中出现次数相同的语句频次为同一计数频次，每个计数频次在多个语句频次中出现的次数为一个频次次数；获取多个待处理语句的信息，其中，多个待处理语句的信息分别为多个频次次数对应基本语句的信息；以及根据多个待处理语句的信息对网页正文中的重复内容进行过滤处理。通过本发明，解决了相关技术中由于网页页面解析中网页正文存在重复内容影响网页分析结果的问题。

主权项

1.一种网页解析中网页正文重复内容的处理方法，其特征在于，包括：/n确定待处理文本，其中，所述待处理文本为网页页面解析中网页正文含有重复内容的文本，所述待处理文本包括多个基本语句，所述待处理文本中内容相同的语句为同一基本语句；/n获取多个语句频次，其中，所述多个语句频次分别为所述多个基本语句在所述待处理文本中出现的次数；/n获取多个频次次数，其中，所述多个语句频次中出现次数相同的语句频次为同一计数频次，每个所述计数频次在所述多个语句频次中出现的次数为一个频次次数；/n获取多个待处理语句的信息，其中，所述多个待处理语句的信息分别为所述多个频次次数对应基本语句的信息；以及/n根据所述多个待处理语句的信息对所述网页正文中的重复内容进行过滤处理；/n其中，所述多个待处理语句包括第一待处理语句和第二待处理语句，获取多个待处理语句的信息包括：/n确定第一位置数据，其中，所述第一位置数据为所述第一待处理语句在所述待处理文本中第一次出现时开始位置的数据；/n确定第二位置数据，其中，所述第二位置数据为所述第二待处理语句在所述待处理文本中第一次出现时开始位置的数据；以及/n将所述第一位置数据和所述第二位置数据作为所述多个待处理语句的信息；/n根据所述多个待处理语句的信息对所述网页正文中的重复内容进行过滤处理包括：/n判断所述第一位置数据是否小于所述第二位置数据；/n如果所述第一位置数据小于所述第二位置数据，确定第三位置数据，其中，所述第三位置数据为所述第一待处理语句在所述待处理文本中第二次出现时开始位置的数据；以及/n根据所述第一位置数据和所述第三位置数据对所述网页正文中的重复内容进行过滤处理，得到第一候选网页正文，其中，所述第一候选网页正文为所述待处理文本中所述第一位置数据与所述第三位置数据之间的文本。/n