[发明专利]一种网页正文抽取方法及装置

摘要

本发明公开了一种网页正文抽取方法及装置，属于信息处理技术领域，其中该方法包括以下步骤：获取网页HTML源码中的标题内容；获取网页HTML源码中所有文本块的路径，并建立文本块路径列表；将标题内容与每个文本块的文本块内容进行比较，获得标题内容所在的文本块；根据路径在列表中的顺序，从标题内容所在文本块对应路径的下一个路径开始，计算每个路径对应文本块的标点符号权值；根据标点符号权值进行判断，根据判断结果标记出是正文的文本块。本发明具有可扩展性好、实现简单、正文抽取精度高的优点。

主权项

1.一种网页正文抽取方法，其特征在于，包括以下步骤：获取网页HTML源码中的标题内容；获取网页HTML源码中所有文本块的路径，并建立文本块路径列表；将标题内容与每个文本块的文本块内容进行比较，获得标题内容所在的文本块；根据路径在列表中的顺序，从标题内容所在文本块对应路径的下一个路径开始，计算每个路径对应文本块的标点符号权值；根据标点符号权值进行判断，根据判断结果标记出是正文的文本块；所述根据标点符号权值进行判断，根据判断结果标记出是正文的文本块的步骤包括：分别判断每个标点符号权值是否大于或等于第一阈值；当标点符号权值大于或等于第一阈值时，标记此标点符号权值对应的文本块为正文；当标点符号权值小于第一阈值时，判断标点符号权值是否大于或等于第二阈值，所述第二阈值小于第一阈值；当标点符号权值大于或等于第二阈值时，分别判断此标点符号权值对应的文本块中是否包含结束标点符号、此标点符号权值对应文本块的前一个文本块的标点符号权值是否大于或等于第二阈值、此标点符号权值对应文本块的后一个文本块的标点符号权值是否大于或等于第二阈值、此标点符号权值对应文本块的前一个文本块是否以结束标点符号结尾以及此标点符号权值对应文本块的后一个文本块是否以结束标点符号结尾；当此标点符号权值对应的文本块中包含结束标点符号、或者此标点符号权值对应文本块的前一个文本块和后一个文本块的标点符号权值均大于或等于第二阈值、或者此标点符号权值对应文本块的前一个文本块和后一个文本块中的任一文本块的标点符号权值大于或等于第二阈值且此任一文本块以结束标点符号结尾时，标记此标点符号权值对应的文本块为正文。