[发明专利]基于内容相关性的Web无效链接过滤方法

权利要求书

1.一种基于内容相关性的Web无效链接过滤方法，其特征在于包括如下的步骤：

(1)利用网页中的文本位置信息，通过统计方法去除网页中不相关的广告类链接和导航类链接；

(2)对网页内容和链接所指向网页的内容进行相关性分析，去除内容不相关的无效链接。

2.如权利要求1所述的Web无效链接过滤方法，其特征在于：

所述步骤(1)之中，首先将HTML文档转化为DOM树结构，然后在DOM树结构中寻找包含主体内容和与主题相关的链接的最小子树，得到所需要的链接信息。

3.如权利要求2所述的Web无效链接过滤方法，其特征在于：

利用CyberNeko HTML Parser解析器将HTML文档转化为DOM树结构。

4.如权利要求2所述的Web无效链接过滤方法，其特征在于：

对于所述DOM树结构，首先利用分块节点将DOM树分为各个子树，在每个子树中计算链接比，与预定的阈值进行比较；如果小于阈值，则将该块设置为主体块，然后回溯查找包含该块的最近的父分块节点，以该父分块节点作为目标节点，输出该父分块节点中的链接，作为后续分析的基础。

5.如权利要求4所述的Web无效链接过滤方法，其特征在于：

在选择分块节点时，优先选取table(div)和tr节点作为分块节点。

6.如权利要求1所述的Web无效链接过滤方法，其特征在于：

所述步骤(2)中，在进行网页的内容相关性分析之前，对网页的文本进行预处理，抽取出代表各个文本的内容进行比较。

7.如权利要求6所述的Web无效链接过滤方法，其特征在于：

进行文本预处理的过程包括如下的步骤：

首先进行文本切词，然后统计文本中的词语频率，计算TF-IDF向量，形成与文本集合对应的向量空间模型；利用文本的特征向量来计算各个文本之间的内容相似度，并利用内容相似度来去除网页中内容不相关的链接。

8.如权利要求7所述的Web无效链接过滤方法，其特征在于：

所述内容相似度由各个文本的特征向量中所包含的词条的重叠程度确定。

9.如权利要求7所述的Web无效链接过滤方法，其特征在于：

所述内容相似度由各个文本的特征向量中的夹角余弦来确定。

10.如权利要求1所述的Web无效链接过滤方法，其特征在于：

所述步骤(2)中，所述内容相关性分析包括三层操作：第一层是根据入口文本进行内容相关性分析；第二层是根据网页的标题进行内容相关性分析；第三层是根据网页正文内容进行内容相关性分析；如果在这三层都得到网页主题不相关的结论，则在父网页的链接列表中删除此链接。