[发明专利]一种分布式爬虫方法、电子设备及服务器

权利要求书

1.一种分布式爬虫方法，其特征在于，包括：

在访问浏览页面时，触发访问所述浏览页面中配置的爬取页面地址所对应的爬取页面，其中，所述浏览页面中具有预设程序，预设程序中预设有爬取页面地址，在访问浏览页面时能够自动触发所述预设程序，以通过所述爬取页面地址爬取所述爬取页面；

获取所述爬取页面的目标数据；

将所述目标数据上传至服务端。

2.如权利要求1所述的分布式爬虫方法，其特征在于，所述爬取页面地址和/或所述爬取页面为访问者不可见。

3.一种分布式爬虫方法，其特征在于，包括：

在浏览页面中配置爬取页面地址，其中，所述浏览页面在被终端访问时，所述终端访问所述爬取页面地址所对应的爬取页面并获取所述爬取页面的目标数据，其中所述浏览页面中具有预设程序，预设程序中预设有爬取页面地址，在所述终端访问浏览页面时能够自动触发所述预设程序，以通过所述爬取页面地址爬取所述爬取页面；

获取所述终端发送的所述爬取页面的目标数据。

4.如权利要求3所述的分布式爬虫方法，其特征在于，还包括：判断所述目标数据是否已经获取完成，若已经获取完成，则在浏览页面中配置新的爬取页面地址。

5.如权利要求4所述的分布式爬虫方法，其特征在于，所述获取完成的具体为，已经获取所述爬取页面的全部或达到预定数量的目标数据。

6.一种分布式爬虫装置，其特征在于，包括触发模块、第一获取模块和通信模块；

所述触发模块配置为在访问浏览页面时，触发访问所述浏览页面中配置的爬取页面地址所对应的爬取页面，其中，所述浏览页面中具有预设程序，预设程序中预设有爬取页面地址，在访问浏览页面时所述预设程序被自动触发；

所述第一获取模块配置为获取所述爬取页面的目标数据；

所述通信模块配置为将所述目标数据上传至服务端。

7.一种电子设备，其特征在于，包括第一处理器和第一存储器，所述第一存储器上存储有可执行指令，所述第一处理器执行所述可执行指令以实现：

在访问浏览页面时，触发访问所述浏览页面中配置的爬取页面地址所对应的爬取页面，其中所述浏览页面中具有预设程序，预设程序中预设有爬取页面地址，在访问浏览页面时能够自动触发所述预设程序，以通过所述爬取页面地址爬取所述爬取页面；

获取所述爬取页面的目标数据；

将所述目标数据上传至服务端。

8.一种分布式爬虫装置，其特征在于，包括配置模块和第二获取模块；

所述配置模块配置为在浏览页面中配置爬取页面地址，其中，所述浏览页面在被终端访问时，所述终端访问所述爬取页面地址所对应的爬取页面并获取所述爬取页面的目标数据，其中所述浏览页面中具有预设程序，预设程序中预设有爬取页面地址，在访问浏览页面时能够自动触发所述预设程序，以通过所述爬取页面地址爬取所述爬取页面；

所述第二获取模块配置为获取所述终端发送的所述爬取页面的目标数据。

9.一种服务器，其特征在于，包括第二处理器和第二存储器，所述第二存储器上存储有可执行指令，所述第二处理器执行所述可执行指令以实现：

在浏览页面中配置爬取页面地址，其中，所述浏览页面在被终端访问时，所述终端访问所述爬取页面地址所对应的爬取页面并获取所述爬取页面的目标数据，其中所述浏览页面中具有预设程序，预设程序中预设有爬取页面地址，在访问浏览页面时能够自动触发所述预设程序，以通过所述爬取页面地址爬取所述爬取页面；

获取所述终端发送的所述爬取页面的目标数据。

10.根据权利要求9所述的服务器，其特征在于，所述第二处理器执行所述可执行指令以进一步实现：

判断所述目标数据是否已经获取完成，若已经获取完成，则在浏览页面中配置新的爬取页面地址。