[发明专利]偏移量管理方法、装置及存储介质

权利要求书

1.一种偏移量管理方法，其特征在于，包括：

在Spark Streaming中接入Kafka时，从所述Kafka中读取数据到弹性分布式数据集；

存储所述弹性分布式数据集对应的偏移量和时间信息；

对所述弹性分布式数据集中的所述数据进行处理，并在所述数据处理成功时，将所述弹性分布式数据集对应的偏移量和时间信息存储在上报列表中；

若所述弹性分布式数据集为所述上报列表中的第一个弹性分布式数据集，则将第一偏移量上报给所述Kafka，其中所述第一偏移量的区间包括所述弹性分布式数据集对应的偏移量的区间。

2.根据权利要求1所述的方法，其特征在于，所述第一偏移量的区间的最小值为0，所述第一偏移量的区间的最大值为所述弹性分布式数据集对应的偏移量的区间的最大值。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

确定所述第一偏移量对应的时间信息；

将所述第一偏移量和所述第一偏移量对应的时间信息，存储在所述上报列表中。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述弹性分布式数据集对应的偏移量的区间的最小值等于0，则确定所述第一偏移量为所述弹性分布式数据集对应的偏移量，所述第一偏移量对应的时间信息为所述弹性分布式数据集对应的时间信息。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述弹性分布式数据集对应的偏移量的区间的最小值大于0，则确定所述第一偏移量为第二偏移量和所述弹性分布式数据集对应的偏移量的合并，所述第一偏移量对应的时间信息为所述第二偏移量对应的时间信息；

其中，所述第二偏移量的区间的最小值为0，所述第二偏移量的区间的最大值为所述弹性分布式数据集对应的偏移量的区间的最小值，所述第二偏移量对应的时间信息为所述弹性分布式数据集对应的时间信息的前一时刻的时间信息。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述存储所述弹性分布式数据集对应的偏移量和时间信息，包括：

将所述弹性分布式数据集对应的偏移量和时间信息存在内存中。

7.根据权利要求6所述的方法，其特征在于，所述将所述弹性分布式数据集对应的偏移量和时间信息存储在上报列表中之前，所述方法还包括：

根据所述弹性分布式数据集对应的时间信息，从所述内存中获得所述弹性分布式数据集对应的偏移量。

8.一种偏移量管理装置，其特征在于，包括：

读取模块，用于在Spark Streaming中接入Kafka时，从所述Kafka中读取数据到弹性分布式数据集；

存储模块，用于存储所述弹性分布式数据集对应的偏移量和时间信息；

处理模块，用于对所述弹性分布式数据集中的所述数据进行处理，并在所述数据处理成功时，将所述弹性分布式数据集对应的偏移量和时间信息存储在上报列表中；

上报模块，用于若所述弹性分布式数据集为所述上报列表中的第一个弹性分布式数据集，则将第一偏移量上报给所述Kafka，其中所述第一偏移量的区间包括所述弹性分布式数据集对应的偏移量的区间。

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

所述处理器，用于执行所述计算机程序，具体用于执行如权利要求1至7任一项所述的偏移量管理方法。

10.一种计算机存储介质，其特征在于，所述存储介质包括计算机指令，当所述指令被计算机执行时，使得所述计算机实现如权利要求1至7任一项所述的偏移量管理方法。