[发明专利]分布式信息采集方法以及装置

权利要求书

1.一种分布式信息采集方法，其特征在于，所述方法包括：

任务获取步骤，根据数据源生成数据抓取任务信息，所述数据抓取任务信息包含配置信息；

数据抓取步骤，根据数据抓取任务信息进行分布式数据抓取，生成抓取结果；

模版解析步骤，根据预设模版解析规则，将所述抓取结果进行解析，生成模版解析信息；

二次解析步骤，根据预设二次解析规则，将所述模版解析信息进行解析，生成二次解析信息；

数据合并步骤，根据预设数据合并规则，将所述二次解析信息进行数据合并处理，生成数据合并信息；

价格计算步骤，根据预设价格计算规则，将所述数据合并信息进行价格计算处理，生成价格信息。

2.根据权利要求1所述的方法，其特征在于，所述任务获取步骤中，根据商品的商品编号SKUID数据源或商品分类页的统一资源定位符URL数据源生成数据抓取任务信息。

3.根据权利要求1所述的方法，其特征在于，所述数据抓取步骤中，通过配置异步网络框架，实现分布式数据抓取。

4.根据权利要求1所述的方法，其特征在于，所述数据抓取步骤还包括：若数据抓取失败，添加数据抓取失败标识，并重新抓取。

5.根据权利要求1所述的方法，其特征在于，所述模版解析步骤中，通过对象简谱json方式、正则方式或可扩展标记路径语言xpath方式将所述抓取结果进行解析，并校验所述模版解析信息。

6.根据权利要求1所述的方法，其特征在于，所述模版解析步骤还包括：若模版解析失败，添加模版解析失败标识，并重新抓取。

7.根据权利要求1所述的方法，其特征在于，所述二次解析步骤还包括：若二次解析失败，添加二次解析失败标识，并重新抓取。

8.根据权利要求1所述的方法，其特征在于，所述价格计算步骤中，所述价格信息包括根据包含不同时效的促销信息、优惠信息的价格计算规则，生成的包括最终可购买最低价格、未来可购买最低价格、预售价格、拼购价格、活动价格、不同平台端的价格的价格信息。

9.根据权利要求4、6、7所述的方法，其特征在于，若大于预设重新抓取次数，则停止重新抓取。

10.一种分布式信息采集装置，其特征在于，所述装置包括：

任务获取模块，用于根据数据源生成数据抓取任务信息，所述数据抓取任务信息包含配置信息；

数据抓取模块，用于根据数据抓取任务信息进行分布式数据抓取，生成抓取结果；

模版解析模块，用于根据预设模版解析规则，将所述抓取结果进行解析，生成模版解析信息；

二次解析模块，用于根据预设二次解析规则，将所述模版解析信息进行解析，生成二次解析信息；

数据合并模块，用于根据预设数据合并规则，将所述二次解析信息进行数据合并处理，生成数据合并信息；

价格计算模块，用于根据预设价格计算规则，将所述数据合并信息进行价格计算处理，生成价格信息。

11.一种电子设备，其特征在于，包括

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至9中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至9中任一项所述方法。