[发明专利]一种抓取网站数据的方法和装置

说明书

本发明提供一种抓取网站数据的方法和装置，能够根据网站的代码质量对网站进行抓取，从而过滤掉一些代码质量差的网站，从而减少了网络爬虫的工作负载，进而也避免了客户在进行搜索的时候无需在一些代码质量不高的网站浪费时间，也在一定程度上提高了用户的使用体验。本发明的抓取网站数据的方法包括：获取网站的网页，确定该网页的代码质量；根据所述网页的代码质量确定所述网站的抓取概率；根据所述网站的抓取概率抓取所述网站的数据。

技术领域

本发明涉及计算机及其软件技术领域，特别涉及一种抓取网站数据的方法和装置。

背景技术

网络爬虫(又被称为网页蜘蛛，网络机器人)是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。网页的抓取策略可以分为深度优先、广度优先和最佳优先三种，同时在网页权重判定有专门的算法，例如PageRank，即网页排名，又称网页级别、Google左侧排名或佩奇排名，是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早期的搜索系统原型时提出的链接分析算法，自从Google在商业上获得空前的成功后，该算法也成为其他搜索引擎和学术界十分关注的计算模型。

目前，很多重要的链接分析算法都是在PageRank算法基础上衍生出来的。PageRank算法是Google用于用来标识网页的等级/重要性的一种方法，是Google用来衡量一个网站的好坏的唯一标准。在揉合了诸如Title标识和Keywords标识等所有其它因素之后，Google通过PageRank来调整结果，使那些更具“等级/重要性”的网页在搜索结果中的网站排名获得提升，从而提高搜索结果的相关性和质量。PageRank算法得到的级别从0到10级，10级为满分。PR值越高说明该网页越受欢迎(越重要)，那么该网页被抓取的概率也就越高。例如：一个PR值为1的网站表明这个网站不太具有流行度，而PR值为7到10则表明这个网站非常受欢迎(或者说极其重要)。一般PR值达到4，就算是一个不错的网站了。Google把自己的网站的PR值定到10，这说明Google这个网站是非常受欢迎的，也可以说这个网站非常重要。

现有的网络爬虫在抓取网页时都会用到PageRank算法，就是按照算法来计算网页重要性，只要网页的PR值满足要求，就会对网站的数据进行抓取，在一定程度上增加了网络爬虫的工作负载，同时也因庞大的网站数据浪费了客户的时间，进一步降低了客户的使用体验。

发明内容

有鉴于此，本发明提供一种抓取网站数据的方法和装置，能够根据网站的代码质量对网站进行抓取，从而过滤掉一些代码质量差的网站，从而减少了网络爬虫的工作负载，进而也避免了客户在进行搜索的时候无需在一些代码质量不高的网站浪费时间，也在一定程度上提高了用户的使用体验。

为实现上述目的，根据本发明的一个方面，提供了一种抓取网站数据的方法。

本发明的抓取网站数据的方法包括：获取网站的网页，确定该网页的代码质量；根据所述网页的代码质量确定所述网站的抓取概率；根据所述网站的抓取概率抓取所述网站的数据。

可选地，所述确定该网页的代码质量的步骤包括：先根据如下的一种或几种方式确定各方式对应的得分：使用冗余代码检查工具确定该网页的冗余代码得分，统计重复关键词得到该网页的重复度得分，检查网页的引用库版本确定该网页的引用库版本得分，使用代码检查工具确定该网页的Javascript代码质量得分，使用CSS代码静态检查工具确定该网页的CSS质量得分，统计html标签中不推荐使用的标签的个数得到该网页的标签得分；然后将所述得分之和作为该网页的代码质量。

可选地，所述网站的网页包括该网站首页以及设定数目的该网站的二级页面；根据所述网页的代码质量确定所述网站的抓取概率的步骤包括：根据如下公式计算网页的质量平均分：网页的质量平均分＝(网站的首页的代码质量分+网站的二级页面的代码质量分)/(1+网站的二级页面的数目)；根据如下公式计算该网站的抓取概率，网站的抓取概率＝(设定分数范围的最大值-网页的质量平均分)/设定分数范围的最大值。