[发明专利]网站数据爬取方法和装置、电子设备、及可读存储介质

说明书

本发明实施例涉及网络数据领域，公开了一种网站数据爬取方法和装置、电子设备、及计算机可读存储介质。所述网站数据爬取方法，包括：通过训练，生成图片识别模型，所述图片识别模型用于识别输入模型中的图片的网站模板类型；所述网站模板类型携带有网站的长截图中包含的元素类型以及各个元素类型在长截图中的位置；根据选择的话题，获取至少一个网站中与所述话题相关的文章链接的长截图；利用所述图片识别模型，从所述至少一个网站的所述长截图中提取出与所述话题相关的各个元素类型的内容数据。本发明无需针对网站改版修改爬取规则，提高了爬取效率，降低了维护成本。

技术领域

本发明实施例涉及网络数据领域，特别涉及网站数据爬取方法和装置、电子设备、及计算机可读存储介质。

背景技术

现有技术中，为了将相同话题在不同网站如微博、微信上的热度统一起来进行分析，我们需要将各个网站对同一个热度话题的数据获取到并分析。现有基于网络爬虫爬取不同网站渠道信息的方式，是分别单独对每个网站热度进行内容爬取。由于每个网站的网页格式不一致，相同含义的数据表述方式也不一样，需要使用不同的爬取脚本规则对不同网站进行数据爬取。

其中，网络爬虫(又被称为网页蜘蛛，网络机器人，网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

发明人发现，相关技术具有以下问题：如果网站进行改版，爬取规则也需要同步进行修改，否则无法爬取到需要的数据，因此维护的人工成本比较高。

发明内容

本发明实施方式的目的在于提供一种网站数据爬取方法和装置、电子设备、及计算机可读存储介质，降低了网站数据爬取人工维护成本。

为解决上述技术问题，本发明的实施方式提供了一种网站数据爬取方法，包括：

通过训练，生成图片识别模型，所述图片识别模型用于识别输入模型中的图片的网站模板类型；所述网站模板类型携带有网站的长截图中包含的元素类型以及各个元素类型在长截图中的位置；

根据选择的话题，获取至少一个网站中与所述话题相关的文章链接的长截图；

利用所述图片识别模型，从所述至少一个网站的所述长截图中提取出与所述话题相关的各个元素类型的内容数据。

本发明的实施方式还提供了一种网站数据爬取装置，包括：

训练单元，用于通过训练，生成图片识别模型，所述图片识别模型用于识别输入模型中的图片的网站模板类型；所述网站模板类型携带有网站的长截图中包含的元素类型以及各个元素类型在长截图中的位置；

获取单元，用于根据选择的话题，获取至少一个网站中与所述话题相关的文章链接的长截图；

提取单元，用于利用所述图片识别模型，从所述至少一个网站的所述长截图中提取出与所述话题相关的各个元素类型的内容数据。

本发明的实施方式还提供了一种电子设备，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的网站数据爬取方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现所述的网站数据爬取方法。