[发明专利]一种网站数据采集方法及存储介质

权利要求书

1.一种网站数据采集方法，其特征在于，包括，

S1：获取网站的链接；

S2：根据所述链接获取对应的网站信息；

S3：根据所述网站信息匹配采集任务；

S4：根据所述采集任务匹配采集方案；

S5：根据所述采集方案合并最优采集方案；

S6：根据所述最优采集方案生成采集项；

S7：将采集项推入队列中，采集服务从队列中获取采集项，执行具体的采集操作，获取采集的数据。

2.根据权利要求1所述的网站数据采集方法，其特征在于，所述根据所述网站信息匹配采集任务之前，所述方法还包括：根据所述网站信息确定采集参数。

3.根据权利要求1所述的网站数据采集方法，其特征在于，所述网站信息的字段包含：网站名称、Url、网站编码、采集入口地址、采集状态开关。

4.根据权利要求2所述的网站数据采集方法，其特征在于，所述采集参数的字段包含：参数名称、采集来源和正则或其它匹配规则。

5.根据权利要求3所述的网站数据采集方法，其特征在于，所述采集任务用于指定采集服务的运行频率、调度来源、采集结果输出方式。

6.根据权利要求5所述的网站数据采集方法，其特征在于，所述采集任务的字段包含：任务名称、方案列表、循环周期、采集范围、采集结果输出配置。

7.根据权利要求6所述的网站数据采集方法，其特征在于，所述采集方案为一组字段和采集参数的集合和指定的采集资源；所述采集方案的字段包含：方案名称、网页编码、代理IP、采集起始地址格式化，字段与参数对应表。

8.根据权利要求7所述的网站数据采集方法，其特征在于，创建采集方案的粒度需遵循两个原则，满足其一即可：

1)采集入口为单一Url；

2)采集方案中的字段或相关逻辑不可再拆分。

9.根据权利要求8所述的网站数据采集方法，其特征在于，所述采集项为一个结构体，里面包含的内容的待采集的Url、采集方案信息、采集任务信息，及其它一些日志相关字段。

10.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-9任一项所述的网站数据采集方法。