[发明专利]分布式爬取内容的方法、装置及存储介质

说明书

本公开是关于一种分布式爬取内容方法、分布式爬取内容装置及存储介质。分布式爬取内容方法包括：检测针对爬虫页面的输入信息，输入信息包括待爬取内容标识；响应于检测到输入信息，爬取待爬取内容标识对应的爬取内容信息；在爬虫页面显示爬取内容信息。通过本公开，可以简单、易操作地爬取互联网公开数据。

技术领域

本公开涉及互联网技术领域，尤其涉及分布式爬取内容的方法、装置及存储介质。

背景技术

随着网络技术的发展，在互联网上每天都会产生海量公开数据，这些公开数据对各行各业都具有一定的参考价值和使用价值。为了快速地获取大量互联网公开数据，催生了获取互联网公开数据的爬虫技术。

目前，由于爬虫技术的门槛比较高，在利用爬虫技术获取互联网公开数据时，需要大量具有技术功底以及技术积累的专业人员通过编写和利用爬虫程序，在指定网站中搜索相关页面才能实现，爬虫技术不易操作。

有鉴于此，如何实现对互联网公开数据进行简单、易操作的爬虫，是目前急需解决的问题。

发明内容

为克服相关技术中存在的问题，本公开提供一种分布式爬取内容的方法、装置及存储介质。

根据本公开实施例的第一方面，提供一种分布式爬取内容的方法，分布式爬取内容的方法包括：

检测针对爬虫页面的输入信息，输入信息包括待爬取内容标识；响应于检测到输入信息，爬取待爬取内容标识对应的爬取内容信息；在爬虫页面显示爬取内容信息。

在一示例中，待爬取内容标识包括：待爬取目标网站信息；或者，待爬取内容标识包括：待爬取目标网站信息、待爬取主题以及待爬取主题中需要统计的信息。

在一示例中，响应于检测到所述输入信息，爬取待爬取内容标识对应的爬取内容信息，包括：根据待爬取内容标识，从互联网协议IP池中分配与待爬取内容标识对应的IP地址；通过IP地址，递归爬取目标网站信息；或者递归爬取目标网站信息、待爬取主题和与待爬取主题关联的统计信息。

在一示例中，在爬虫页面显示爬取内容信息，包括：在爬虫页面显示爬取到的爬取主题以及与爬取主题关联的统计信息，以及在爬虫页面显示爬取到的爬取主题的访问链接，和爬取到统计信息的访问子链接。

在一示例中，分布式爬取内容的方法还包括：在接收到从目标网站返回的状态码时，确定IP地址为无效IP地址，状态码表征爬取待爬取主题和与待爬取主题关联的统计信息失败。

根据本公开实施例的第二方面，提供一种分布式爬取内容的装置，分布式爬取内容的装置，包括：

检测单元，被配置为检测针对爬虫页面的输入信息，输入信息包括待爬取内容标识；爬取单元，被配置为响应于检测到输入信息，爬取待爬取内容标识对应的爬取内容信息；显示单元，被配置为在爬虫页面显示爬取内容信息。

在一示例中，待爬取内容标识包括：待爬取目标网站信息；或者，待爬取内容标识包括：待爬取目标网站信息、待爬取主题以及待爬取主题中需要统计的信息。

在一示例中，爬取单元响应于检测到输入信息，采用如下方式爬取待爬取内容标识对应的爬取内容信息：根据待爬取内容标识，从互联网协议IP池中分配与待爬取内容标识对应的IP地址；通过IP地址，递归爬取目标网站信息；或者递归爬取目标网站信息、待爬取主题和与待爬取主题关联的统计信息。

在一示例中，显示单元采用如下方式在爬虫页面显示爬取内容信息：在爬虫页面显示爬取到的爬取主题以及与爬取主题关联的统计信息，以及在爬虫页面显示爬取到的爬取主题的访问链接，和爬取到统计信息的访问子链接。

在一示例中，检测单元还被配置为：在接收到从目标网址返回的状态码时，确定IP地址为无效IP地址，状态码表征爬取待爬取主题和与待爬取主题关联的统计信息失败。