[发明专利]组图抓取方法与装置

说明书

技术领域

本发明涉及计算机技术领域，特别是涉及一种组图的抓取方法与装置。

背景技术

随着网络技术的高速发展，人们的生活和工作越来越多地依赖网络进行，而网站中的网页就是网络的必需元素。一个网页可能要表述一个或者一个以上的主题内容，图片则是形像描述或补充这些主题内容的重要组成部分，如，新闻页面中的新闻附属图片、影音视频中的视频图片、以及主要以图片为主的图片网页中各种类型的图片。

现有的网页图片通常以单张展示的形式部署在网页中的相应位置，当需要抓取图片时，可以获取待抓取图片的URL（Uniform Resource Locator，统一资源定位符）地址，然后以单张图片为单位，逐张进行图片抓取。

然而，在图片抓取过程中，一方面，常因各种原因，如失链、盗链、网页模板更新等，导致无法有效、准确地抓取图片；另一方面，随着图片展现形式的发展，网页图片展示出现了组图的形式，其中，组图指网页上的多个页面中的图组成了一个大的图片内容，将这些图组合在一起，形成组图，因一个组图中包含了多张图片内容，使用现有的单张图片抓取的方式，也无法实现组图图片的有效抓取。

总之，现有的图片抓取方式无法实现图片的有效准确抓取，尤其是，无法实现组图图片的有效准确抓取。

发明内容

鉴于上述现有的图片抓取方式，无法实现组图图片的有效准确抓取的问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的组图抓取方法与装置。

依据本发明的一个方面，提供了一种组图抓取方法，包括：获取网站的组图抓取日志信息；对所述网站的组图抓取日志信息进行解析，根据解析结果确定所述网站中的组图页面为有效页面；根据预置的组图抓取规则，对有效的所述组图页面进行组图抓取，其中，所述组图抓取规则包括组图页面中有效数据的起始标志、结束标志、和抓取组图的正则表达式。

可选地，所述根据预置的组图抓取规则，对有效的所述组图页面进行组图抓取的步骤包括：根据所述有效数据的起始标志和结束标志，从有效的所述组图页面的索引页面中，获取至少一个组图的索引信息；根据所述索引信息确定每个所述组图对应的有效的内容页面；根据所述抓取组图的正则表达式，从所述有效的内容页面中，对每个所述组图包括的各个子图进行抓取。

可选地，根据所述抓取组图的正则表达式，从所述有效的内容页面中，对每个所述组图包括的各个子图进行抓取的步骤包括：根据所述抓取组图的正则表达式，从所述有效的内容页面中，获取每个所述组图的详细配置信息，其中，每个所述组图的详细配置信息包括每个所述组图包括的各个子图的URL地址信息；根据所述URL地址信息，对每个所述组图包括的各个子图进行抓取。

可选地，所述组图抓取规则还包括组图展示规则；在所述对有效的所述组图页面进行组图抓取的步骤之后，还包括：按照所述组图展示规则，对抓取的组图进行展示。

可选地，所述组图抓取规则还包括抓取流量控制规则；所述根据预置的组图抓取规则，对有效的所述组图页面进行组图抓取的步骤包括：根据所述预置的组图抓取规则，按照所述抓取流量控制规则指示的流量，分批对有效的所述组图页面进行组图抓取。

可选地，所述组图抓取规则还包括组图存储规则；在所述对有效的所述组图页面进行组图抓取的步骤之后，还包括：按照所述组图存储规则指示的数据结构，将抓取的每个所述组图存储为对应的一个结构化组图数据，将所述结构化组图数据存储在图床集群中。

可选地，在将所述结构化组图数据存储在图床集群的步骤之后，还包括：当需要访问存储在所述图床集群中的组图的结构化组图数据时，从存储有所述组图的结构化组图数据的索引信息的图床抓取集群中，获取待访问的组图的结构化组图数据的索引信息，根据所述索引信息确定待访问的组图的结构化组图数据在所述图床集群中的存储位置；根据所述存储位置从所述图床集群中访问所述待访问的组图的结构化组图数据。

可选地，所述方法还包括：收集根据所述解析结果确定的失效的组图页面的信息；对所述失效的组图页面的信息进行分析，根据分析结果删除或修改所述组图抓取规则中，抓取所述失效的组图页面中的组图时使用的组图抓取规则的有效数据的起始标志、结束标志、和抓取组图的正则表达式。