[发明专利]一种抓取网站数据的方法和装置

权利要求书

1.一种抓取网站数据的方法，其特征在于，包括：

获取网站的网页，确定该网页的代码质量；

根据所述网页的代码质量确定所述网站的抓取概率；

根据所述网站的抓取概率抓取所述网站的数据；

其中，所述确定该网页的代码质量的步骤包括：

先根据如下的一种或几种方式确定各方式对应的得分：

使用冗余代码检查工具确定该网页的冗余代码得分，

统计重复关键词得到该网页的重复度得分，

检查网页的引用库版本确定该网页的引用库版本得分，

使用代码检查工具确定该网页的Javascript代码质量得分，

使用CSS代码静态检查工具确定该网页的CSS质量得分，

通过将html标签与预先保存的不推荐使用的标签库进行对比得到该网页的标签得分；

然后将所述得分之和作为该网页的代码质量。

2.根据权利要求1所述的方法，其特征在于，

所述网站的网页包括该网站首页以及设定数目的该网站的二级页面；

根据所述网页的代码质量确定所述网站的抓取概率的步骤包括：

根据如下公式计算网页的质量平均分：网页的质量平均分＝(网站的首页的代码质量分+网站的二级页面的代码质量分)/(1+网站的二级页面的数目)；

根据如下公式计算该网站的抓取概率，网站的抓取概率＝(设定分数范围的最大值-网页的质量平均分)/设定分数范围的最大值。

3.根据权利要求1所述的方法，其特征在于，根据所述网站的抓取概率抓取所述网站的数据的步骤包括：

首先确定所述网站的抓取概率不小于预设的抓取概率的下限值，然后抓取所述网站的数据。

4.一种抓取网站数据的装置，其特征在于，包括：

获取模块，用于获取网站的网页，然后确定该网页的代码质量；

确定模块，用于根据所述网页的代码质量确定所述网站的抓取概率；

抓取模块，用于根据所述网站的抓取概率抓取所述网站的数据；其中，所述获取模块还用于：先根据如下的一种或几种方式确定各方式对应的得分：使用冗余代码检查工具确定该网页的冗余代码得分，统计重复关键词得到该网页的重复度得分，检查网页的引用库版本确定该网页的引用库版本得分，使用代码检查工具确定该网页的Javascr ipt代码质量得分，使用CSS代码静态检查工具确定该网页的CSS质量得分，通过将html标签与预先保存的不推荐使用的标签库进行对比得到该网页的标签得分；然后将所述得分之和作为该网页的代码质量。

5.根据权利要求4所述的装置，其特征在于，所述网站的网页包括该网站首页以及设定数目的该网站的二级页面；所述确定模块还用于：

根据如下公式计算网页的质量平均分：网页的质量平均分＝(网站的首页的代码质量分+网站的二级页面的代码质量分)/(1+网站的二级页面的数目)；

根据如下公式计算该网站的抓取概率，网站的抓取概率＝(设定分数范围的最大值-网页的质量平均分)/设定分数范围的最大值。

6.根据权利要求4所述的装置，其特征在于，所述抓取模块还用于首先确定所述网站的抓取概率不小于预设的抓取概率的下限值，然后抓取所述网站的数据。

7.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的方法。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-3中任一所述的方法。