[发明专利]利用优先队列获取多家电商大数据的方法及计算设备

权利要求书

1.一种利用优先队列获取多家电商大数据的方法，其特征在于，包括：

设置用于存储网店ID的队列，所述队列包括未执行常规队列、执行中常规队列、未执行优先队列、执行中优先队列；

定时更新所述队列中的网店ID；

优先根据所述未执行优先队列中的网店ID完成向所述电商平台请求相应的电商数据；

在所述未执行优先队列以及所述执行中优先队列中均无数据时，根据所述未执行常规队列中的网店ID向所述电商平台请求相应的电商数据。

2.如权利要求1所述的方法，其特征在于，所述定时更新所述队列中的网店ID，包括：

定时查询客户授权的网店名单，获取网店ID集合；

从所述网店ID集合排除所述队列中的网店ID；

将保留的新增网店的网店ID加入到未执行优先队列；

将保留的非新网店的网店ID加入到未执行常规队列。

3.如权利要求2所述的方法，其特征在于，

所述网店ID集合包括第一集合及第二集合，所述第一集合包含新增网店的网店ID，所述第二集合包含非新网店的网店ID；

从所述网店ID集合排除所述队列中的网店ID，包括：

从所述第一集合排除所述未执行优先队列和所述执行中优先队列的网店ID；

从所述第二集合排除所述未执行常规队列和所述执行中常规队列的网店ID。

4.如权利要求1所述的方法，其特征在于，优先根据所述未执行优先队列中的网店ID完成向所述电商平台请求相应的电商数据，包括重复执行以下操作：

从所述未执行优先队列获取网店ID；

将获取到的网店ID放入所述执行中优先队列；

在根据获取到的网店ID完成向所述电商平台请求相应的电商数据之后，将所述网店ID从所述执行中优先队列移除。

5.如权利要求4所述的方法，其特征在于，在所述未执行优先队列以及所述执行中优先队列中均无数据时，根据所述未执行常规队列中的网店ID向所述电商平台请求相应的电商数据，包括重复执行以下操作：

从所述未执行优先队列获取网店ID；

如果没有从所述未执行优先队列获取到网店ID且所述执行中优先队列不为空，则延时后返回至从所述未执行优先队列获取网店ID；

如果没有从所述未执行优先队列获取到网店ID且所述执行中优先队列为空，则从所述未执行常规队列获取网店ID；

将获取到的网店ID放入所述执行中常规队列；

在根据获取到的网店ID完成向所述电商平台请求相应的电商数据之后，将所述网店ID从所述执行中常规队列移除。

6.如权利要求1所述的方法，其特征在于，还包括：将所述电商数据存储于分布式文件系统。

7.如权利要求6所述的方法，其特征在于，所述分布式文件系统包括FastDFS系统。

8.如权利要求6所述的方法，其特征在于，还包括：将所述分布式文件系统中的所述电商数据存储于分布式数据库系统。

9.如权利要求8所述的方法，其特征在于，所述分布式数据库系统包括TiDB系统。

10.如权利要求1所述的方法，其特征在于，以下操作在多个线程中执行：

优先根据所述未执行优先队列中的网店ID完成向所述电商平台请求相应的电商数据；以及

在所述未执行优先队列以及所述执行中优先队列中均无数据时，根据所述未执行常规队列中的网店ID向所述电商平台请求相应的电商数据。

11.如权利要求10所述的方法，其特征在于，所述未执行常规队列和所述未执行优先队列为基于单线程内存存储系统的队列。

12.如权利要求11所述的方法，其特征在于，所述单线程内存存储系统包括Redis系统。

13.一种计算设备，其特征在于，包括：

处理器；

存储器，所述存储器上存储有计算机程序；

当所述处理器执行所述计算机程序时实现如权利要求1-12中任一项所述的方法。