[发明专利]基于聚类的网页内容信息提取方法

摘要

本发明提出了一种基于网页聚类的网页信息提取方法，包括网页的标题、正文和时间。该方法利用对结构相同的网页进行统一的提取操作，来提高网页正文内容抽取的准确率。本发明适用于提取来自同一网站的网页，不需要复杂的计算，简单实用。

主权项

一种基于聚类的网页内容信息提取方法，其特征在于，包括以下步骤：S1:将DOM树中各个块节点的路径作为网页的结构特征，通过前序遍历的方式遍历网页DOM树Td，提取块节点的路径集合F.f，构成二元组F＝<w,f>来表示网页w的结构特征；最后将输入的网页集合W转化为k个网页的结构特征集合D＝{F1,F2,…,Fk}；S2：提取标题；S3：提取时间；S4：据网页结构特征F，计算得到网页之间的相似度，两个页面的相似度函数按照以下公式进行表示：sim(Fi,Fj)=card(Fi.f∩Fj.f)min(card(Fi.f),card(Fj.f))]]>其中Fi和Fj分别表示第i个网页和第j个网页的结构特征；使用分层聚类算法通过网页相似度计算对一组网页进行聚类，得到聚类结果为n个标记类的网页标记类网页集合M，M＝{C1,C2,…,Cn},集合中的每一个元素表示该标记类的特征；S5：对同一标记类的网页提取正文内容的抽取规则。