[发明专利]一种平行网页识别方法及装置

摘要

本发明公开了一种平行网页识别方法，包括以下步骤：步骤A：基于对于网页特定标签，判断网页是否为正文页；步骤B：对平行网页的识别。所述步骤A进一步包括以下子步骤：步骤一：网页预处理，构造HTML树；步骤二：对HTML树剪枝；步骤三：获取网页主题；步骤四：提取分块内的字符串内容；步骤五：计算主题S和一个块内内容y的距离；步骤六：比较编辑距离L和max(p，q)。本发明网页正文提取比对方法具有以下优点：能提取正文较短的网页，内容的长短并不会影响选择的正确性。因为无论正文长短都会参与计算，都不会被忽略。对处理<table>嵌套的复杂的网页可以保证每一个<table>标签都能得到一致的处理。

主权项

一种平行网页识别方法，其特征在于，包括以下步骤：步骤A：基于对于网页特定标签，判断网页是否为正文页；步骤B：对平行网页的识别；所述步骤A进一步包括以下子步骤：步骤一：网页预处理，构造HTML树；步骤二：对HTML树剪枝；步骤三：获取网页主题：获取网页Title及其各级标题<h1>～<hg>和标签<meta>的内容；对以上内容进行分词处理，去掉虚词、停用词，最后得到只含有实词的序列Stitle；步骤四：提取分块内的字符串内容；步骤五：计算主题S和一个块内内容y的距离；步骤六：比较编辑距离L和max(p，q)。