[发明专利]一种数据爬取方法及系统

摘要

本发明公开了一种数据爬取方法及系统，包括：从url队列中获取目标网址，并获取目标网址的源代码；将目标网址的源代码存入html队列，并根据预定爬取规则，从目标网址的源代码中解析出目标网址的最终数据；判断目标网址的源代码是否存在url网址；若存在，则从目标网址的源代码中提取url网址，并存入url队列。可见，在本实施例中，通过url队列存储的预存网址获取源代码，并将从源代码中提取的url网址继续放入url队列，最终通过html队列获取源代码中的最终数据，这种通过浏览器访问的形式，直接绕过这些防爬手段，能获取到指定的信息，不仅能快速的爬取数据，还能降低爬取成本。

主权项

一种数据爬取方法，其特征在于，包括：从url队列中获取目标网址，并获取所述目标网址的源代码；其中，所述url队列中存储的网址至少包括：预存网址，和/或，从源代码中提取的url网址；将所述目标网址的源代码存入html队列，并根据预定爬取规则，从所述目标网址的源代码中解析出所述目标网址的最终数据；判断所述目标网址的源代码是否存在url网址；若存在，则从所述目标网址的源代码中提取url网址，并存入所述url队列。