[发明专利]数据爬取方法、装置、计算机设备及存储介质

摘要

本发明公开了一种数据爬取方法、装置、计算机设备及存储介质，所述方法包括，通过采用网络标识信息访问第一网页，若访问成功，且第一网址为非域名，则对第一网址进行解析，得到第一网址对应的域名，访问域名对应的第一网站的首页，若访问成功，且所述第一网址为域名或访问域名对应的第一网站的首页成功，则遍历各个第二网页，若访问成功，对第二网页内容进行解析，得到需要爬取的数据，若访问第一网址对应的第一网页不成功，或者访问域名对应的第一网站的首页不成功，或者遍历各个第二网页不成功，则采用Tornado分派新的网络标识信息至标识频道，返回执行采用网络标识信息访问对应的第一网页的步骤，从而提高了数据爬取的稳定性。

主权项

1.一种数据爬取方法，其特征在于，所述数据爬取方法包括：采用标识频道中的网络标识信息访问预设的第一网址对应的第一网页，其中，所述标识频道中的网络标识信息预先由标识信息库分派，所述标识信息库包括可成功访问网络资源的多个网络标识信息；若采用所述标识频道中的所述网络标识信息访问所述第一网址对应的第一网页成功，且所述第一网址为非域名，则按照预设的第一解析方式对所述第一网址进行解析，得到所述第一网址对应的域名；采用所述网络标识信息访问所述域名对应的第一网站的首页，其中，所述第一网站包括一个以上第二网页，所述第二网页包括第二网页内容；若采用所述标识频道中的所述网络标识信息访问所述第一网址对应的第一网页成功，且所述第一网址为域名，或者采用所述网络标识信息访问所述域名对应的第一网站的首页成功，则遍历所述第一网站的各个第二网页；若遍历所述第一网站的各个第二网页成功，按照预设的第二解析方式对所述第二网页内容进行解析，得到需要爬取的数据；若采用所述网络标识信息访问所述第一网址对应的第一网页不成功，或者采用所述网络标识信息访问所述域名对应的第一网站的首页不成功，或者遍历所述第一网站的各个所述第二网页不成功，则采用Tornado异步机制分派所述标识信息库中的新的网络标识信息至所述标识频道，返回执行所述采用所述标识频道中的网络标识信息访问预设的第一网址对应的第一网页的步骤，所述新的网络标识信息是指未分派过至所述标识频道的网络标识信息。