[发明专利]数据爬取方法、装置、计算机设备及存储介质

说明书

本发明公开了一种数据爬取方法、装置、计算机设备及存储介质，所述方法包括，通过采用网络标识信息访问第一网页，若访问成功，且第一网址为非域名，则对第一网址进行解析，得到第一网址对应的域名，访问域名对应的第一网站的首页，若访问成功，且所述第一网址为域名或访问域名对应的第一网站的首页成功，则遍历各个第二网页，若访问成功，对第二网页内容进行解析，得到需要爬取的数据，若访问第一网址对应的第一网页不成功，或者访问域名对应的第一网站的首页不成功，或者遍历各个第二网页不成功，则采用Tornado分派新的网络标识信息至标识频道，返回执行采用网络标识信息访问对应的第一网页的步骤，从而提高了数据爬取的稳定性。

技术领域

本发明涉及金融领域，尤其涉及一种数据爬取方法、装置、计算机设备及存储介质。

背景技术

目前，在金融行业中，数据信息对于金融公司越来越重要，金融公司通常需要通过网络向目标网站爬取大量有效信息。

传统的信息爬取方式为使用一个IP地址频繁对目标网站进行爬取，由于第一网站设置了反爬取模式，预设的时间段内限制一个IP地址对目标网站的访问次数，若是在预设的时间段内对第一网站的访问次数达到了预设的限定值，只能在下一个预设的时间段内再进行爬取，甚至目标网站将IP地址当做为恶意IP而封杀，从而导致爬取信息的稳定性低。

发明内容

基于此，有必要针对上述技术问题，提供一种可以提高数据爬取稳定性低的数据爬取方法、装置、计算机设备及存储介质。

一种数据爬取方法，包括：

采用标识频道中的网络标识信息访问预设的第一网址对应的第一网页，其中，所述标识频道中的网络标识信息预先由标识信息库分派，所述标识信息库包括可成功访问网络资源的多个网络标识信息；

若采用所述标识频道中的所述网络标识信息访问所述第一网址对应的第一网页成功，且所述第一网址为非域名，则按照预设的第一解析方式对所述第一网址进行解析，得到所述第一网址对应的域名；

采用所述网络标识信息访问所述域名对应的第一网站的首页，其中，所述第一网站包括一个以上第二网页，所述第二网页包括第二网页内容；

若采用所述标识频道中的所述网络标识信息访问所述第一网址对应的第一网页成功，且所述第一网址为域名，或者采用所述网络标识信息访问所述域名对应的第一网站的首页成功，则遍历所述第一网站的各个第二网页；

若遍历所述第一网站的各个第二网页成功，按照预设的第二解析方式对所述第二网页内容进行解析，得到需要爬取的数据；

若采用所述网络标识信息访问所述第一网址对应的第一网页不成功，或者采用所述网络标识信息访问所述域名对应的第一网站的首页不成功，或者遍历所述第一网站的各个所述第二网页不成功，则采用Tornado异步机制分派所述标识信息库中的新的网络标识信息至所述标识频道，返回执行所述采用所述标识频道中的网络标识信息访问预设的第一网址对应的第一网页的步骤，所述新的网络标识信息是指未分派过至所述标识频道的网络标识信息。

一种数据爬取装置，包括：

第一访问模块，用于采用标识频道中的网络标识信息访问预设的第一网址对应的第一网页，其中，所述标识频道中的网络标识信息预先由标识信息库分派，所述标识信息库包括可成功访问网络资源的多个网络标识信息；

第一解析模块，用于若采用所述标识频道中的所述网络标识信息访问所述第一网址对应的第一网页成功，且所述第一网址为非域名，则按照预设的第一解析方式对所述第一网址进行解析，得到所述第一网址对应的域名；

第二访问模块，用于采用所述网络标识信息访问所述域名对应的第一网站的首页，其中，所述第一网站包括一个以上第二网页，所述第二网页包括第二网页内容；