[发明专利]组图抓取方法与装置

权利要求书

1.一种组图抓取方法，包括：

获取网站的组图抓取日志信息；

对所述网站的组图抓取日志信息进行解析，根据解析结果确定所述网站中的组图页面为有效页面；

根据预置的组图抓取规则，对有效的所述组图页面进行组图抓取，其中，所述组图抓取规则包括组图页面中有效数据的起始标志、结束标志、和抓取组图的正则表达式，所述组图抓取规则还包括：获取组图的下一页的内容的规则，该规则用于若当前组图页面存在有下一页时，获取当前组图页面的下一页的内容；

其中，所述组图抓取规则还包括抓取流量控制规则；

所述根据预置的组图抓取规则，对有效的所述组图页面进行组图抓取的步骤包括：根据所述预置的组图抓取规则，按照所述抓取流量控制规则指示的流量，分批对有效的所述组图页面进行组图抓取，其中，根据确定目标网站的可承受访问总量，再乘以预置的抓取压力系数，作为目标网站的抓取承受流量，或者，根据目标网站内所有网页的网页质量分布的总和，确定抓取目标网站的任务流量；

其中，所述组图抓取规则还包括组图存储规则；

在所述对有效的所述组图页面进行组图抓取的步骤之后，还包括：按照所述组图存储规则指示的数据结构，将抓取的每个所述组图存储为对应的一个结构化组图数据，将所述结构化组图数据存储在图床集群中。

2.根据权利要求1所述的方法，其中，所述根据预置的组图抓取规则，对有效的所述组图页面进行组图抓取的步骤包括：

根据所述有效数据的起始标志和结束标志，从有效的所述组图页面的索引页面中，获取至少一个组图的索引信息；

根据所述索引信息确定每个所述组图对应的有效的内容页面；

根据所述抓取组图的正则表达式，从所述有效的内容页面中，对每个所述组图包括的各个子图进行抓取。

3.根据权利要求2所述的方法，其中，根据所述抓取组图的正则表达式，从所述有效的内容页面中，对每个所述组图包括的各个子图进行抓取的步骤包括：

根据所述抓取组图的正则表达式，从所述有效的内容页面中，获取每个所述组图的详细配置信息，其中，每个所述组图的详细配置信息包括每个所述组图包括的各个子图的URL地址信息；

根据所述URL地址信息，对每个所述组图包括的各个子图进行抓取。

4.根据权利要求1至3任一项所述的方法，其中，所述组图抓取规则还包括组图展示规则；

在所述对有效的所述组图页面进行组图抓取的步骤之后，还包括：

按照所述组图展示规则，对抓取的组图进行展示。

5.根据权利要求1所述的方法，其中，在将所述结构化组图数据存储在图床集群的步骤之后，还包括：

当需要访问存储在所述图床集群中的组图的结构化组图数据时，从存储有所述组图的结构化组图数据的索引信息的图床抓取集群中，获取待访问的组图的结构化组图数据的索引信息，根据所述索引信息确定待访问的组图的结构化组图数据在所述图床集群中的存储位置；

根据所述存储位置从所述图床集群中访问所述待访问的组图的结构化组图数据。

6.根据权利要求1所述的方法，其中，所述方法还包括：

收集根据所述解析结果确定的失效的组图页面的信息；

对所述失效的组图页面的信息进行分析，根据分析结果删除或修改所述组图抓取规则中，抓取所述失效的组图页面中的组图时使用的组图抓取规则的有效数据的起始标志、结束标志、和抓取组图的正则表达式。