[发明专利]一种获取网页数据的方法及系统

摘要

本发明提供了一种获取网页数据的方法及系统,包括登录访问网址、将获得动态IP导入模型、将采集网页网址信息添加至代理池、获取网页数据信息、原生数据的处理和清洗、刷新数据以及存储数据。通过调动态IP实现对网页面的仿原生IP登录，能有效提高网页数据获取的稳定性和成功访问率，并有针对性地对目标网站进行动态配置和优化，能加快访问速度，有效地提高了数据采集效率及灵活性。另外，所述系统内部安置过滤函数，对系统获取的网页原生数据进行针对性地筛选，能提高工作效率；且系统后台构建的数据库接口，实现数据存储，提高数据的取用的便捷性。