[发明专利]基于聚类的网页内容信息提取方法

权利要求书

1.一种基于聚类的网页内容信息提取方法，其特征在于，包括以下步骤：

S1:将DOM树中各个块节点的路径作为网页的结构特征，通过前序遍历的方式遍历网页DOM树T_d，提取块节点的路径集合F.f，构成二元组F＝<w,f>来表示网页w的结构特征；最后将输入的网页集合W转化为k个网页的结构特征集合D＝{F1,F2,…,Fk}；

S2：提取标题；

S3：提取时间；

S4：据网页结构特征F，计算得到网页之间的相似度，两个页面的相似度函数按照以下公式进行表示：

sim(Fi,Fj)=card(Fi.f∩Fj.f)min(card(Fi.f),card(Fj.f))]]>

其中Fi和F_j分别表示第i个网页和第j个网页的结构特征；使用分层聚类算法通过网页相似度计算对一组网页进行聚类，得到聚类结果为n个标记类的网页标记类网页集合M，M＝{C1,C2,…,C_n},集合中的每一个元素表示该标记类的特征；

S5：对同一标记类的网页提取正文内容的抽取规则。

2.根据权利要求1所述的基于聚类的网页内容信息提取方法，其特征在于：S2包括以下步骤：

S21：获取网页中<title></title>标签对中的文本内容，记为DemoTitle；

S22：从网页内容中将<title></title>标签对及内容删除；

S23：逐行扫描剩下网页的文本内容，找出每一行的内容与DemoTitle的最长公共字串，将长度不为零的公共子串的行号和内容(linenumber，titleString)存入候选集中：

S24：按titleString的长度对候选集进行降序排列，选择titleString的长度最长的元素作为新闻标题。

3.根据权利要求1所述的基于聚类的网页内容信息提取方法，其特征在于：S3包括以下步骤：

S31：采用预先设定的模板、优先级，匹配每一行所包含的时间，将提取出的时间和所在行的行号(linenumber，timeString)加入候选集；

S32：在提取正文的过程会获得最长文本的行号，对候选集里的时间进行过滤，删除行号大于最长文本行号的项；

S33：对过滤后的候选集按时间模板的优先级排序，选取排在最前面的时间为新闻的发布时间。