[发明专利]确定网站内链接等级的方法及装置

说明书

技术领域

本发明涉及一种计算机信息处理技术，特别是涉及一种确定网站内链接等级的方法及装置。

背景技术

网络爬虫（又称为网页蜘蛛）是一种按照一定的规则，自动获取万维网信息的程序或者脚本。搜索引擎即通过网络爬虫从互联网数以亿计的站点下载全部的网页，以供分析网页数据和建立索引。互联网总是不停的在产生新网页和更新旧网页，因此网络爬虫也需要不停的工作以保证搜索引擎能拥有最新的互联网网页镜像。出于搜索效果的考虑，爬虫总是希望能更快地将网页收录。但是，爬虫对网页的抓取会占用网站的服务器资源。如果抓取频率超过了网站的承受范围，就会影响到网站用户的正常访问，严重的会导致网站服务器的瘫痪。因此，搜索引擎对网站的抓取量必须在站点可接受的范围内，搜索引擎会采用一定的方法估算抓取量的数值。

搜索引擎主要基于链接模式（chain pattern）来判断是否是不同链接。也就是说，一个统一资源定位符（Uniform/Universal Resource Locator，简称URL，也可称为网页地址）与另一个URL相比，其中只要有一个字符不相同或多一个字符或少一个字符，这两个URL就是不同的URL。自动建站、动态网页等工具和技术的广泛应用，使得新URL的产生变得非常容易，也导致链接泛滥成为互联网的普遍现象。

URL泛滥的表现主要有以下几个方面：

第一个方面，URL所指向的内容并不能提供对用户有用的信息，可能是一些空内容，甚至作弊或者有害的内容。

第二个方面，URL所指向的内容与其他形式的URL所指向的内容完全重复。

第三个方面，随着时间的推移，URL会失效变成死链，无法正常访问。

这些垃圾、重复、无效的链接与有效链接混合在一起，如果搜索引擎不加区分的将它们收录，一方面，原本紧张的站点抓取配额将被大量占用，另一方面从用户的角度来看，搜索引擎抓取到的网页大多都不具有参考价值。

由此可知，如何区分网站内有价值的链接，以便于将有限的抓取配额分配给高质量的链接是本发明所要解决的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的确定网站内链接等级的方法及装置，以准确识别出网站内有价值的链接。

依据本发明一个方面，提供了一种确定网站内链接等级的方法，包括：

根据网站内链接的链接地址，确定所述链接所属的类；

获取所述链接所属类对应的类质量等级；

提取所述链接的链接价值；

根据所述类质量等级及所述链接的链接价值，确定所述链接的等级。

可选的，前述的确定网站内链接等级的方法，其中，所述根据网站内链接的链接地址，确定所述链接所属的类，包括：

根据预设的特征提取规则，从所述网站内链接的链接地址中提取所述链接的特征信息；

根据预设的特征信息及类的对应关系，获取所述链接的特征信息对应的类，所述类即为所述链接所属的类。

可选的，前述的确定网站内链接等级的方法，其中，所述获取所述链接所属类对应的类质量等级之前，还包括：

获取所述网站内与属于所述类的所有链接相关的第一统计信息；

获取与所述网站相关的第二统计信息；

根据所述第一统计信息和第二统计信息，计算所述类质量等级。

可选的，前述的确定网站内链接等级的方法，其中，所述根据所述第一统计信息和第二统计信息，计算所述类质量等级之后，还包括：

提取所述网站内所有链接的链接价值；

获取属于所述类的所有链接占所述网站内的所有链接的比例；

根据所述网站内所有链接的链接价值及所述比例，对所述类质量等级进行修正。

可选的，前述的确定网站内链接等级的方法，其中，所述第一统计信息包括：第一索引量、第一展现量、第一点击量及第一收录量中的一种或任意多个的组合，其中，

所述第一索引量为所述网站内属于所述类的所有链接被建入索引的数量，所述第一展现量为所述网站内属于所述类的所有链接在预设的第一时间段内出现在搜索结果中的数量；所述第一点击量为所述网站内属于所述类的所有链接在预设的第二时间段内出现在搜索结果中且被用户点击的次数，所述第一收录量为被搜索引擎收录到索引中的属于所述类的所述网站内的所有链接对应网页的数量；

所述第二统计信息包括：第二索引量、第二展现量、第二点击量及第二收录量中的一种或任意多个的组合，其中，