[发明专利]一种网络数据爬取方法和装置

摘要

本发明实施例提供了一种网络数据爬取方法和装置，所述方法包括：通过网页测试工具打开浏览器，并打开待爬取数据的网站；根据预先设置的目标数据网页结构，通过所述网页测试工具模拟用户浏览所述网站，获取所述网站上目标数据标签对应的所有网页的页面信息；分别对获取到的所述页面信息进行分析，根据所述目标数据标签获取对应的目标数据。所述装置用于执行上述方法。本发明实施例通过控制浏览器对待爬取数据的网站进行浏览，并采用网页测试工具即selenium模拟用户浏览网站，可以很好的避免因网站反爬机制造成数据爬取失败的问题，提高了网络数据爬取的成功率。

主权项

1.一种网络数据爬取方法，其特征在于，包括：/n通过网页测试工具打开浏览器，并打开待爬取数据的网站；/n根据预先设置的目标数据网页结构，通过所述网页测试工具模拟用户浏览所述网站，获取所述网站上目标数据标签对应的所有网页的页面信息；其中，所述目标数据网页结构为各类数据标签之间的层级关系；/n分别对获取到的所述页面信息进行分析，根据所述目标数据标签获取对应的目标数据；/n其中，所述通过所述网页测试工具模拟用户浏览所述网站，包括：/n通过所述网页测试工具模拟点击页面跳转按钮、模拟页面下拉条的滚动和模拟栏目的点击操作，实现模拟用户浏览所述网站；/n所述获取所述网站上目标数据标签对应的所有网页的页面信息，包括：/n根据所述目标数据网页结构，打开对应的网页，获取所述目标数据标签对应的所有网页的页面信息，若判断获知所述网页不是所述目标数据标签对应的最后一页网页，则模拟所述点击页面跳转按钮，点击下一页，获取下一页网页的页面信息。/n