[发明专利]分布式爬取内容的方法、装置及存储介质

权利要求书

1.一种分布式爬取内容的方法，其特征在于，所述方法包括：

检测针对爬虫页面的输入信息，所述输入信息包括待爬取内容标识；

响应于检测到所述输入信息，爬取待爬取内容标识对应的爬取内容信息；

在所述爬虫页面显示所述爬取内容信息。

2.根据权利要求1所述的方法，其特征在于，

所述待爬取内容标识包括：待爬取目标网站信息；或者，

所述待爬取内容标识包括：待爬取目标网站信息、待爬取主题和所述待爬取主题中需要统计的信息。

3.根据权利要求2所述的方法，其特征在于，所述响应于检测到所述输入信息，爬取待爬取内容标识对应的爬取内容信息，包括：

根据所述待爬取内容标识，从互联网协议IP池中分配与所述待爬取内容标识对应的IP地址；

通过所述IP地址，递归爬取所述目标网站信息；或者

递归爬取所述目标网站信息、所述待爬取主题和与所述待爬取主题关联的统计信息。

4.根据权利要求3所述的方法，其特征在于，所述在所述爬虫页面显示所述爬取内容信息，包括：

在所述爬虫页面显示爬取到的爬取主题以及与所述爬取主题关联的统计信息，以及

在所述爬虫页面显示爬取到的所述爬取主题的访问链接，和爬取到所述统计信息的访问子链接。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在接收到状态码时，确定所述IP地址为无效IP地址，所述状态码表征爬取所述待爬取主题和与所述待爬取主题关联的统计信息失败。

6.一种分布式爬取内容的装置，其特征在于，所述装置包括：

检测单元，被配置为检测针对爬虫页面的输入信息，所述输入信息包括待爬取内容标识；

爬取单元，被配置为响应于检测到所述输入信息，爬取待爬取内容标识对应的爬取内容信息；

显示单元，被配置为在所述爬虫页面显示所述爬取内容信息。

7.根据权利要求6所述的分布式爬虫装置，其特征在于，

所述待爬取内容标识包括：待爬取目标网站信息；或者，

所述待爬取内容标识包括：待爬取目标网站信息、待爬取主题以及所述待爬取主题中需要统计的信息。

8.根据权利要求7所述的分布式爬虫装置，其特征在于，所述爬取单元响应于检测到所述输入信息，采用如下方式爬取待爬取内容标识对应的爬取内容信息：

根据所述待爬取内容标识，从互联网协议IP池中分配与所述待爬取内容标识对应的IP地址；

通过所述IP地址，递归爬取所述目标网站信息；或者

递归爬取所述目标网站信息、所述待爬取主题和与所述待爬取主题关联的统计信息。

9.根据权利要求8所述的装置，其特征在于，所述显示单元采用如下方式在所述爬虫页面显示所述爬取内容信息：

在所述爬虫页面显示爬取到的爬取主题以及与所述爬取主题关联的统计信息，以及

在所述爬虫页面显示爬取到的所述爬取主题的访问链接，和爬取到所述统计信息的访问子链接。

10.根据权利要求8所述的分布式爬虫装置，其特征在于，所述检测单元还被配置为：

在接收到从所述目标网址返回的状态码时，确定所述IP地址为无效IP地址，所述状态码表征爬取所述待爬取主题和与所述待爬取主题关联的统计信息失败。

11.一种分布式爬取内容的装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行权利要求1-5中任一项所述的分布式爬取内容的方法。

12.一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由处理器执行时，执行权利要求1-5中任意一项所述的分布式爬取内容的方法。