[发明专利]基于爬虫的数据获取方法及装置

摘要

本发明提供一种基于爬虫的数据获取方法及装置，该方法包括获取第一待抓取页面上的第一数据和至少一个跳转链接，其中，至少一个跳转链接为第一待抓取页面上可跳转至第二待抓取页面的跳转地址，根据至少一个跳转链接，进入每个跳转链接对应的第二待抓取页面，并获取第二待抓取页面上的第二数据，将第一数据和第二数据存储在预设的数据库中。通过获取页面中的数据实现数据的抓取，通过获取页面中的跳转链接，并跳转至该跳转链接对应的页面，模拟人工操作浏览器的行为，以实现交互丰富的动态页面的页面跳转，解决了传统爬虫在抓取动态网页时无法对页面全部数据获取的问题。

主权项

一种基于爬虫的数据获取方法，其特征在于，包括：获取第一待抓取页面上的第一数据和至少一个跳转链接；其中，所述至少一个跳转链接为所述第一待抓取页面上可跳转至第二待抓取页面的跳转地址；根据所述至少一个跳转链接，进入每个跳转链接对应的第二待抓取页面，并获取所述第二待抓取页面上的第二数据；将所述第一数据和所述第二数据存储在预设的数据库中。