[发明专利]数据爬取方法、系统、计算机可读存储介质及电子设备

权利要求书

1.一种数据爬取方法，其特征在于：

包括以下过程：

获取数据爬取时的线程总数阈值；

当线程大于线程总数阈值时，多余的线程进入等待状态；

当一个线程结束时，释放一个线程位置，进行下一个线程的数据爬取，直至所有线程爬取完成。

2.如权利要求1所述的数据爬取方法，其特征在于：

在进入线程之前，创建一个Map，以抓取的跳转页面的链接为key，以上一个跳转页面的value进行绑定，并存入request中；

在匹配到跳转页面时，通过url获取value，将两个爬取到的value整合到一起，得到一个信息点的数据。

3.如权利要求1或2所述的数据爬取方法，其特征在于：

使用redis进行数据存储。

4.如权利要求1所述的数据爬取方法，其特征在于：

获取当前节点的深度节点数以及广度节点数，根据深度节点数以及广度节点数的最快节点数，以最快节点数进行遍历。

5.一种数据爬取系统，其特征在于：

包括：

数据获取模块，被配置为：获取数据爬取时的线程总数阈值；

数据爬取模块，被配置为：当线程大于线程总数阈值时，多余的线程进入等待状态，当一个线程结束时，释放一个线程位置，进行下一个线程的数据爬取，直至所有线程爬取完成。

6.如权利要求1所述的数据爬取系统，其特征在于：

在进入线程之前，创建一个Map，以抓取的跳转页面的链接为key，以上一个跳转页面的value进行绑定，并存入request中；

在匹配到跳转页面时，通过url获取value，将两个爬取到的value整合到一起，得到一个信息点的数据。

7.如权利要求5或6所述的数据爬取系统，其特征在于：

使用redis进行数据存储。

8.如权利要求1所述的数据爬取系统，其特征在于：

获取当前节点的深度节点数以及广度节点数，根据深度节点数以及广度节点数的最快节点数，以最快节点数进行遍历。

9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一项所述的数据爬取方法中的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一项所述的数据爬取方法中的步骤。