[发明专利]一种基于用户认证信息的网络爬虫方法

摘要

本发明特别涉及一种基于用户认证信息的网络爬虫方法。该基于用户认证信息的网络爬虫方法，以用户在网站上的认证信息为基础，基于Python中HTTP客户端Requests库，针对服务器检测用户登录后Cookie类网站进行数据采集，并将采集到的数据提交到服务器上进行持久化存储，以满足后期对数据进行个性化和多次抽取，提高数据采集的效率和采集数据的复用率，从而降低数据采集的成本。该基于用户认证信息的网络爬虫方法，不仅降低了采集校验用户认证信息一类网站数据的难度，省去了研究网站生成用户认证的过程，还显著缩短了开发采集这类网站数据爬虫程序的时间，降低了运维爬虫程序的人力成本，在兼顾速度的同时显著提升了数据采集的质量，能够确保采集数据不重不漏。