[发明专利]一种网站数据爬取方法及装置

权利要求书

1.一种网站数据爬取方法，其特征在于，包括:

根据预设的规则对待爬取的网站数据进行处理，所述待爬取的网站数据包括多个统一资源定位符URL，获取各个统一资源定位符URL的正则表达式；

根据所述各个统一资源定位符URL的正则表达式获取各个统一资源定位符URL的权重值，获取待爬取的统一资源定位符URL的正则表达式权重关系表；

根据所述正则表达式权重关系表获取目标待爬取的网站数据，对所述目标待爬取的网站数据进行爬取；

所述方法还包括：

将预先保存的统一资源定位符URL的正则表达式权重关系表与所述待爬取的统一资源定位符URL的正则表达式权重关系表进行合并；

根据合并后的正则表达式权重关系表更新所述预先保存的统一资源定位符URL的正则表达式权重关系表；

相应地，所述根据所述正则表达式权重关系表获取目标待爬取的网站数据包括：

根据合并后的正则表达式权重关系表获取目标待爬取的网站数据；

所述根据所述各个统一资源定位符URL的正则表达式获取各个统一资源定位符URL的权重值，包括：

将具有相同统一资源定位符URL的正则表达式的统一资源定位符URL进行合并；

根据具有同一统一资源定位符URL的正则表达式的统一资源定位符URL的数量获取各个统一资源定位符URL的权重值。

2.根据权利要求1所述的方法，其特征在于，所述根据预设的规则对待爬取的网站数据进行处理包括：

用通配符替换各个统一资源定位符URL中符合预设规则的字符串。

3.根据权利要求1所述的方法，其特征在于，所述根据所述正则表达式权重关系表获取目标待爬取的网站数据，包括：

将所述正则表达式权重关系表按照权重值进行降序排列，选取降序排列后的正则表达式权重关系表中权重值排在前面预设位数的目标正则表达式；

获取各个目标正则表达式对应的目标待爬取的网站数据。

4.一种网站数据爬取装置，其特征在于，包括：

正则表达式获取单元，用于根据预设的规则对待爬取的网站数据进行处理，所述待爬取的网站数据包括多个统一资源定位符URL，获取各个统一资源定位符URL的正则表达式；

关系表获取单元，用于根据所述各个统一资源定位符URL的正则表达式获取各个统一资源定位符URL的权重值，获取待爬取的统一资源定位符URL的正则表达式权重关系表；

爬取单元，用于根据所述正则表达式权重关系表获取目标待爬取的网站数据，对所述目标待爬取的网站数据进行爬取；

合并单元，用于将预先保存的统一资源定位符URL的正则表达式权重关系表与所述待爬取的统一资源定位符URL的正则表达式权重关系表进行合并；

更新单元，用于根据合并后的正则表达式权重关系表更新所述预先保存的统一资源定位符URL的正则表达式权重关系表；

相应地，所述爬取单元用于：

根据合并后的正则表达式权重关系表获取目标待爬取的网站数据；

所述关系表获取单元进一步用于：

将具有相同统一资源定位符URL的正则表达式的统一资源定位符URL进行合并；

根据具有同一统一资源定位符URL的正则表达式的统一资源定位符URL的数量获取各个统一资源定位符URL的权重值。

5.根据权利要求4所述的装置，其特征在于，所述正则表达式获取单元进一步用于：

用通配符替换各个统一资源定位符URL中符合预设规则的字符串。

6.根据权利要求4所述的装置，其特征在于，所述爬取单元进一步用于：

将所述正则表达式权重关系表按照权重值进行降序排列，选取降序排列后的正则表达式权重关系表中权重值排在前面预设位数的目标正则表达式；

获取各个目标正则表达式对应的目标待爬取的网站数据。