[发明专利]一种网络数据采集方法、装置、计算机设备及存储介质

说明书

本发明涉及计算机网络技术领域，公开了一种网络数据采集方法、装置、计算机设备及存储介质。通过本发明创造，提供了一种基于模拟用户行为工具Se l n ium的网络数据采集方案，即可以在获取待执行抓取任务后，应用模拟用户行为工具Se l n ium依次执行排序的抓取任务，然后解析抓取的网页内容，得到可存放的结构化数据，从而可通过模拟真实用户行为绕过目标服务器的用户行为检测，拿到真实的数据，不但可以提升采集效率和质量，降低维护成本，还可以很好的隐藏自身的行为，具有很强的隐蔽性，而且不用详细分析网页接口与页面渲染，具有高便利性和通用性。

技术领域

本发明属于计算机网络技术领域，具体地涉及一种网络数据采集方法、装置、计算机设备及存储介质。

背景技术

随着计算机网络技术的不断发展，网上信息的获取已经成为人们认识事件的主要途径之一，面对每时每刻都会产生得大量网络信息资源，人们往往会陷入窘迫的境地，一方面收到的海量信息无从选择和消化，使得其淹没在繁杂的信息中，另一方面是信息迷失，人们难于找到自己真正需要的信息；因此，如何能够快速高效地采集和抓取网络站点是现如今人们对于获取网络信息的迫切需求。

在采集和抓取网络站点的数据时，会发现很多网站数据需要通过登录验证才可以展示页面内容，或者是需要在整个页面的DOM(Document Object Mode,文档对象模型)结构加载完之后才会执行。如果使用常规的网络爬虫方法直接获取页面内容，则无法获取到需要的数据内容，这大大降低了网络数据采集的效率和质量。而如果需要获取到登录验证的数据或者网页加载完毕展示的数据，就需要对网站的请求的数据源地址进行分析或者记录下网站的登录验证cookie，而这种方法会导致爬虫的时效性降低，需要持续地获取网络爬虫的登录密钥，增加了网络数据采集的维护成本。

发明内容

为了解决现有网络数据采集方法所存在需要检测用户行为及需要用户登陆等，导致采集效率低、质量差和维护成本高的问题，本发明目的在于提供一种网络数据采集方法、装置、计算机设备及存储介质，可以在获取待执行抓取任务后，应用模拟用户行为工具Selnium依次执行排序的抓取任务，然后解析抓取的网页内容，得到可存放的结构化数据，从而可通过模拟真实用户行为绕过目标服务器的用户行为检测，拿到真实的数据，不但可以提升采集效率和质量，降低维护成本，还可以很好的隐藏自身的行为，具有很强的隐蔽性，而且不用详细分析网页接口与页面渲染，具有高便利性和通用性。

第一方面，本发明提供了一种网络数据采集方法，包括：

访问用于存放抓取任务的第一数据库，获取至少一个待执行抓取任务，其中，所述抓取任务包含有待爬取统一资源定位符URL地址；

将所述至少一个待执行抓取任务添加到当前任务队列中，得到新任务队列，其中，所述新任务队列包含有按照执行先后顺序依次排列的至少一个待执行抓取任务；

应用模拟用户行为工具Selnium依次执行在所述新任务队列中的各个待执行抓取任务，以便通过所述模拟用户行为工具Selnium模拟用户使用浏览器和对应任务的所述待爬取统一资源定位符URL地址进行网页访问，并下载获取网页内容；

解析所述网页内容，获取至少一个解析数据；

根据所述至少一个解析数据，获取至少一个结构化数据；

将所述至少一个结构化数据存放到第二数据库中。

基于上述发明内容，提供了一种基于模拟用户行为工具Selnium的网络数据采集方案，即可以在获取待执行抓取任务后，应用模拟用户行为工具Selnium依次执行排序的抓取任务，然后解析抓取的网页内容，得到可存放的结构化数据，从而可通过模拟真实用户行为绕过目标服务器的用户行为检测，拿到真实的数据，不但可以提升采集效率和质量，降低维护成本，还可以很好的隐藏自身的行为，具有很强的隐蔽性，而且不用详细分析网页接口与页面渲染，具有高便利性和通用性。