[发明专利]数据爬取方法、系统、计算机可读存储介质及电子设备

说明书

本发明提供了一种数据爬取方法、系统、计算机可读存储介质及电子设备，获取数据爬取时的线程总数阈值；当线程大于线程总数阈值时，多余的线程进入等待状态；当一个线程结束时，释放一个线程位置，进行下一个线程的数据爬取，直至所有线程爬取完成；本发明简单易用，降低了从业人员门槛，节省人力投入，一个要点的数据会整合到一条数据中，优化了数据结构。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据爬取方法、系统、计算机可读存储介质及电子设备。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。

网上的爬虫、自动化一般都是使用python来做的；但是对于没有使用过python的java程序员来说，学习维护的成本太大。

爬取网页时，采用的是非关系型数据库，都会将整个网页内容保存下来。如果网站小，这对于爬虫所消耗的时间尚可接受；但如果是大型网站，耗时较长，大大浪费了人力成本

发明内容

为了解决现有技术的不足，本发明提供了一种数据爬取方法、系统、计算机可读存储介质及电子设备，通过多个线程的设置，成倍的缩短了爬取时间。

为了实现上述目的，本发明采用如下技术方案：

本发明第一方面提供了一种数据爬取方法。

一种数据爬取方法，包括以下过程：

获取数据爬取时的线程总数阈值；

当线程大于线程总数阈值时，多余的线程进入等待状态；

当一个线程结束时，释放一个线程位置，进行下一个线程的数据爬取，直至所有线程爬取完成。

进一步的，在进入线程之前，创建一个Map，以抓取的跳转页面的链接为key，以上一个跳转页面的value进行绑定，并存入request中；

在匹配到跳转页面时，通过url获取value，将两个爬取到的value整合到一起，得到一个信息点的数据。

进一步的，使用redis进行数据存储。

进一步的，获取当前节点的深度节点数以及广度节点数，根据深度节点数以及广度节点数的最快节点数，以最快节点数进行遍历。

本发明第二方面提供了一种数据爬取系统，包括：

数据获取模块，被配置为：获取数据爬取时的线程总数阈值；

数据爬取模块，被配置为：当线程大于线程总数阈值时，多余的线程进入等待状态，当一个线程结束时，释放一个线程位置，进行下一个线程的数据爬取，直至所有线程爬取完成。

进一步的，在进入线程之前，创建一个Map，以抓取的跳转页面的链接为key，以上一个跳转页面的value进行绑定，并存入request中；

在匹配到跳转页面时，通过url获取value，将两个爬取到的value整合到一起，得到一个信息点的数据。

进一步的，使用redis进行数据存储。

进一步的，获取当前节点的深度节点数以及广度节点数，根据深度节点数以及广度节点数的最快节点数，以最快节点数进行遍历。

本发明第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的数据爬取方法中的步骤。

本发明第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的数据爬取方法中的步骤。

与现有技术相比，本发明的有益效果是：