[发明专利]网页解析中网页正文重复内容的处理方法及装置

说明书

本发明公开了一种网页解析中网页正文重复内容的处理方法及装置。该方法包括：确定待处理文本；获取多个语句频次，其中，多个语句频次分别为多个基本语句在待处理文本中出现的次数；获取多个频次次数，其中，多个语句频次中出现次数相同的语句频次为同一计数频次，每个计数频次在多个语句频次中出现的次数为一个频次次数；获取多个待处理语句的信息，其中，多个待处理语句的信息分别为多个频次次数对应基本语句的信息；以及根据多个待处理语句的信息对网页正文中的重复内容进行过滤处理。通过本发明，解决了相关技术中由于网页页面解析中网页正文存在重复内容影响网页分析结果的问题。

技术领域

本发明涉及网页解析技术领域，具体而言，涉及一种网页解析中网页正文重复内容的处理方法及装置。

背景技术

页面解析，例如，Html页面解析，是互联网数据挖掘技术中的重要环节。通过Html页面解析在网页页面中准确地抽取出各种特征，是后续数据挖掘中其它任务的前提，其中，网页正文是网页页面特征中重要的特征。由于网页格式千变万化，导致抽取网页正文非常困难。通常，相关技术是通过合并网页中文本段落来抽取网页正文，然而带有评论的网站具有一个明显的特点，即每一条评论内容中都带有指向正文的节点，如果通过上述网页正文的抽取方法，抽取网页正文的结果是：正文+(评论1+正文)+(评论2+正文)+…+(评论n+正文)+…。即抽取的网页正文中含有大量重复的正文内容。在后续数据挖掘的其它任务中，直接调用网页正文的抽取结果进行分析处理。由于网页页面解析中网页正文存在重复内容会直接影响网页分析的结果，因此造成后续其它任务输出结果会一系列的出错。

针对相关技术中由于网页页面解析中网页正文存在重复内容影响网页分析结果的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种网页解析中网页正文重复内容的处理方法及装置，以解决相关技术中由于网页页面解析中网页正文存在重复内容影响网页分析结果的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种网页解析中网页正文重复内容的处理方法。该方法包括：确定待处理文本，其中，待处理文本为网页页面解析中网页正文含有重复内容的文本，待处理文本包括多个基本语句，待处理文本中内容相同的语句为同一基本语句；获取多个语句频次，其中，多个语句频次分别为多个基本语句在待处理文本中出现的次数；获取多个频次次数，其中，多个语句频次中出现次数相同的语句频次为同一计数频次，每个计数频次在多个语句频次中出现的次数为一个频次次数；获取多个待处理语句的信息，其中，多个待处理语句的信息分别为多个频次次数对应基本语句的信息；以及根据多个待处理语句的信息对网页正文中的重复内容进行过滤处理。

进一步地，多个待处理语句包括第一待处理语句和第二待处理语句，获取多个待处理语句的信息包括：确定第一位置数据，其中，第一位置数据为第一待处理语句在待处理文本中第一次出现时开始位置的数据；确定第二位置数据，其中，第二位置数据为第二待处理语句在待处理文本中第一次出现时开始位置的数据；以及将第一位置数据和第二位置数据作为多个待处理语句的信息。

进一步地，根据多个待处理语句的信息对网页正文中的重复内容进行过滤处理包括：判断第一位置数据是否小于第二位置数据；如果第一位置数据小于第二位置数据，确定第三位置数据，其中，第三位置数据为第一待处理语句在待处理文本中的第二次出现时开始位置的数据；以及根据第一位置数据和第三位置数据对网页正文中的重复内容进行过滤处理，得到第一候选网页正文，其中，第一候选网页正文为待处理文本中第一位置数据与第三位置数据之间的文本。

进一步地，在判断第一位置数据是否小于第二位置数据之后，该方法还包括：如果第一位置数据大于第二位置数据，确定第四位置数据，其中，第四位置数据为第二待处理语句在待处理文本中的第二次出现时开始位置的数据；以及根据第二位置数据和第四位置数据对网页正文中的重复内容进行过滤处理，得到第二候选网页正文，其中，第二候选网页正文为待处理文本中第二位置数据与第四位置数据之间的文本。