[发明专利]基于内容相关性的Web无效链接过滤方法

说明书

技术领域

本发明涉及一种过滤Web页面中无效链接(uselesslinks)的方法，尤其涉及一种基于内容相关性分析的Web页面无效链接过滤方法，属于互联网搜索技术领域。

背景技术

随着互联网的飞速发展，用于互联网信息查询的搜索引擎发挥着日益重要的作用。对于搜索引擎而言，其主要任务是找到相关网页并按页面重要度排序返回给用户。随着Web页面数目的增长、页面内容的丰富和页面链接的多姿多彩，搜索引擎开始变得越来越“力不从心”。这里面的原因很多，其中重要的一点就是Web页面中无效链接的日益泛滥。

经过分析，Web页面中的链接可分为以下四类：

人工生成的链接：这类链接中大部分是人工通过比较两个网页的内容，根据它们的相关性来进行创建的，而且被网页创建者归为“相关链接”，因此大部分这样的链接具有很强的推荐意义。也有一部分所指向的网页内容与本网页内容主题并不相关，只在某一点上稍微有些关联。

导航类链接：这类链接是网页创建者利用相应的模块生成的，对于同一站点下的网页是基本相同的，主要是让用户可以在本网站的不同领域之间访问。这些链接对于用户访问起到了一定的导航作用，但是和网页相关性推荐没有丝毫关系。

广告类链接：这类链接是根据网页中的一些动态函数生成的，一般是为了网站的商业利益增加的，在链接中占了很大的比重，尤其是对于com类的网页中，这部分链接占到了一半以上。这部分链接对于推荐内容相关的网页基本没有贡献。

偏袒类链接：这类链接主要指主网页和指向的子网页属于同一站点的这一类链接，是网站创立者为了推荐本网站中的一些新的或者较多关注的网页，增加它们的点击率而在网页中加入的。

图1是新浪上截取的一个新闻类网页，其中⑤中的链接是人工生成的链接(上述的第一类)。①中的链接是网站中具有导航意义的链接(上述的第二类)，它们分别指向了新浪的其他类网站的主页；②、⑥中的链接属于偏袒类链接(上述的第三类)，是为了推荐当天最新的新闻而生成的，从内容上可以看出它们指向的都是一些与本网页无关的网页；④、⑦部分的链接是网站为了经济利益所增加的广告链接(上述的第四类)。

经过分析，发明人认为对于不具有推荐意义的链接类型，包括第一类中不具有主题相关性的链接、第二、第三、第四类链接，这些统称为“无效链接”；而第一类中具有主题相关性的链接则称为“有效链接”。

链接分析是Web页面排序方面最成功的方法之一，包括Google、Yahoo！在内的很多搜索引擎都是利用该方法，同时结合anchor text、词频统计等因素而获得了巨大成功。链接分析方法的成功，很大程度上决定于Web页面链接的有效性，或者说取决于以下假设的合理性：当网页A存在一个到网页B的链接时，说明网页A的作者认为网页B的内容是重要的，并且通常来说，网页A和B的内容具有相关的主题。可以说，这个内容相关性假设是链接分析方法赖以生存的基础。

在互联网发展初期，网页中的链接基本上符合内容相关性假设，网页之间的相关性传递是有意义的。但随着Web技术的不断发展和网页数量的不断膨胀，越来越多的网页由网页生成工具自动生成，因此很多链接失去了相关性意义，导致无效链接的比例越来越高。同时，随着搜索引擎的应用，很多网站的管理者为了提高在搜索引擎中排名，引入了大量的无用链接，出现了很多Spam站点。另一方面，目前的大部分商业类网站都是以商业利益作为最终目标的，这就造成了大量广告链接的引入。基于以上多种原因，目前Web中链接的内容相关性和推荐意义已经受到了严重的威胁。如果不进行处理，所构造的链接结构图已经不能正确反映网页之间的关联关系，基于这样的链接图得到的排序结果将不再真实有效。

发明内容

本发明所要解决的技术问题在于提供一种基于内容相关性的Web无效链接过滤方法。该链接过滤方法通过构造更为合理的链接结构图，再进行链接分析，从而提高了无效链接过滤的效果。

为了实现上述的发明目的，本发明采用下述的技术方案：

一种基于内容相关性的Web无效链接过滤方法，其特征在于包括如下的步骤：

(1)利用网页中的文本位置信息，通过统计方法去除网页中不相关的广告类链接和导航类链接；

(2)对网页内容和链接所指向网页的内容进行相关性分析，去除内容不相关的无效链接。

其中，在所述步骤(1)之中，首先将HTML文档转化为DOM树结构，然后在DOM树结构中寻找包含主体内容和与主题相关的链接的最小子树，得到所需要的链接信息。