[发明专利]一种商品采集调度方法及系统

说明书

技术领域

本发明涉及电子商务技术领域，具体涉及一种商品采集调度方法及系统。

背景技术

商品采集调度是指在采集商品信息过程中，根据商品价格的变动规律，制定出特殊的个性化的采集策略。随着商品采集数量的增多，围绕商品采集调度开展的调度策略以及系统也日益增多。海量的商品数据包含了商品的各种标题、图片、规格、评论、优惠以及价格等信息。其中对于价格采集进行调度的研究也是非常有价值的。

常规商品采集流程如下：

(一)从网站入口页获取列表页URL(Uniform Resource Locator，统一资源定位符)，对列表页的URL格式处理，同一个网站内部的列表页URL格式相同；遍历列表页URL获取商品单页URL、商品标题、图片等信息，将列表页URL和单页商品URL以及商品标题、图片等信息保存到数据库，并且要给商品价格赋值作为初始价格，价格更新时间、商品进入数据库的时间等信息都要进行初始化。

(二)从数据库中取出所有单页URL，分析页面结构，采集优惠信息、库存、规格、品牌等属性，处理后存放到数据库中。将商品每次的价格变动信息单独存放，日后便于查看商品的价格变动，也可以据此生成包含商品的所有历史价格节点的价格曲线。

但是，随着商品的日益增多，数据量呈现爆炸式增长。要做到尽可能的及早感知到商品的价格变动，需要以最短的采集间隔对商品进行全量采集(对所有商品进行采集)。目前策略的拟定完全参考历史价格变动，并且基于一个假设，即最近一段时间内，价格长期未变的商品，在短期内价格可能也不会变化。如果商品的真实价格变动不吻合这个假设，可能会导致一些价格变动采集未能完全覆盖。进一步，通过对25万某一电商商品价格曲线研究发现，超过半数的商品在60天以内价格没有变动(如表1所示)。在对比商品的区间占比和精确占比时不难发现，商品价格的变动总是集中在部分商品身上。如果按照常规全量采集的话，不但是对采集资源极大的浪费，而且影响了对其他商品价格的及时采集，价格敏感性(是否能及时采集到价格变动的商品)随之降低。

表1

发明内容

针对上述缺陷与不同，本发明提供了一种商品采集调度方法及系统，以提高商品采集系统的效率以及实用性。

为了实现上述目的，本发明提供了如下技术方案：

一种商品采集调度方法，所述方法包括：

为所有要采集商品设置采集标记；

设置不同等级的采集频率，所述不同等级的采集频率包括：第一频率；

以所述第一频率采集所有要采集商品的URL，根据所述商品的URL将商品信息存储到数据库；

根据所述商品信息，计算商品采集时间距离上一次变价时间的天数，根据所述天数将所述采集标记指定为不同等级的采集频率，以对商品进行不同等级采集频率的采集。

优选地，所述不同等级的采集频率还包括：第二频率，所述第二频率低于所述第一频率；

所述根据所述天数将所述采集标记指定为不同等级的采集频率包括：

检测所述天数是否大于或等于第一设定天数并且小于第二设定天数，所述第二设定天数大于所述第一设定天数；

如果是，将所述采集标记指定为所述第二频率，以对商品进行第二频率的采集。

优选地，所述不同等级的采集频率还包括：第三频率，所述第三频率低于所述第二频率；

所述根据所述天数将所述采集标记指定为不同等级的采集频率包括：

在所述天数大于第一设定天数时，检测所述天数是否大于第二设定天数；

如果是，将所述采集标记指定为所述第三频率，以对商品进行第三频率的采集。

优选地，所述根据所述采集标记对商品进行不同等级采集频率的采集包括：

根据当前采集时间与上一次采集时间检测商品是否达到所述采集标记指定的频率；

如果是，继续采集商品的URL；

检测商品的价格是否有变动；

如果是，指定所述采集标记为所述第一频率，以对商品进行第一频率的采集。

优选地，所述方法还包括：

如果商品的价格没有变动，使所述采集标记保持指定的采集频率或者根据所述天数将所述采集标记降低为下一等级的采集频率。

优选地，所述如果商品的价格没有变动，使所述采集标记保持指定的采集频率或者根据所述天数将所述采集标记降低为下一等级的采集频率包括：

当所述采集标记指定的频率为第一频率时，如果商品价格没有变动；