[发明专利]内容抓取的方法、装置、设备、介质及程序产品

权利要求书

1.一种内容抓取的方法，包括：

获取多个抓取请求中每个抓取请求对应的图实例，其中，所述图实例的顶点为执行所述每个抓取请求的算子；

从预设的配置文件中，获取所述每个抓取请求中资源类型对应的依赖关系；

将所述每个抓取请求对应的任务对象放入任务队列中；

利用与所述每个抓取请求对应的依赖关系，以及所述每个抓取请求中资源类型对应的算子，批量处理任务队列中的任务对象，对所述每个抓取请求中资源类型的内容进行抓取。

2.根据权利要求1所述的方法，其中，所述资源类型为网页或图片。

3.根据权利要求1或2所述的方法，所述方法还包括：

获取资源服务器的历史压力；

响应于所述历史压力满足预设的压力阈值，确定与所述历史压力对应的抓取资源类型的数量。

4.一种内容抓取的装置，包括：

数据获取模块，被配置成获取多个抓取请求中每个抓取请求对应的图实例，其中，所述图实例的顶点为执行所述每个抓取请求的算子；

关系获取模块，被配置成从预设的配置文件中，获取所述每个抓取请求中资源类型对应的依赖关系；

内容抓取模块，被配置成：

将所述每个抓取请求对应的任务对象放入任务队列中；

利用与所述每个抓取请求对应的依赖关系，以及所述每个抓取请求中资源类型对应的算子，批量处理任务队列中的任务对象，对所述每个抓取请求中资源类型的内容进行抓取。

5.根据权利要求4所述的装置，其中，所述资源类型为网页或图片。

6.根据权利要求4或5所述的装置，所述装置还包括：

压力获取模块，被配置成获取资源服务器的历史压力；

数量确定模块，被配置成响应于所述历史压力满足预设的压力阈值，确定与所述历史压力对应的抓取资源类型的数量。

7.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法。

9.一种内容抓取系统，包括：终端设备和如权利要求7所述的电子设备，其中，

电子设备，被配置成获取多个抓取请求中每个抓取请求对应的图实例，其中，图实例的顶点为执行每个抓取请求的算子；从预设的配置文件中，获取每个抓取请求中资源类型对应的依赖关系；将所述每个抓取请求对应的任务对象放入任务队列中；利用所述与所述每个抓取请求对应的依赖关系，以及所述每个抓取请求中资源类型对应的算子，批量处理任务队列中的任务对象，对所述每个抓取请求中资源类型的内容进行抓取；

所述终端设备，被配置成接收所述电子设备发送的每个抓取请求中资源类型的内容。

10.根据权利要求9所述的系统，其中，所述资源类型为网页或图片。

11.根据权利要求9或10所述的系统，所述电子设备，进一步被配置成：

获取资源服务器的历史压力；响应于所述历史压力满足预设的压力阈值，确定与所述历史压力对应的抓取资源类型的数量。