[发明专利]一种检测数据丢失的方法及系统

权利要求书

1.一种检测数据丢失的方法，其特征在于，包括：

获取生产者将数据写入到主题TOPIC中的数据条数作为生产偏移量，获取消费者从所述TOPIC中消费的数据的数据条数作为消费偏移量；

判断所述生产偏移量与所述消费偏移量是否一致；

若否，则确定所述消费者在消费所述TOPIC中数据过程中存在数据丢失。

2.根据权利要求1所述的方法，其特征在于，在所述消费者消费所述TOPIC中数据后，若所述生产偏移量与所述消费偏移量一致；所述方法还包括：

获取所述TOPIC中的数据被存储为所述HDFS文件的数据条数作为分布式HDFS文件偏移量；

判断所述HDFS文件偏移量与所述消费偏移量是否一致；

若否，则生成第二反馈信息，所述第二反馈信息指示所述TOPIC中的数据被存储为所述HDFS文件过程中存在数据丢失。

3.根据权利要求1所述的方法，其特征在于，在所述消费者消费所述TOPIC中数据后，若所述生产偏移量与所述消费偏移量一致；所述方法还包括：

获取所述TOPIC中的数据参与实时计算的数据条数作为实时计算偏移量；

判断所述实时计算偏移量与所述消费偏移量是否一致；

若否，则生成第三反馈信息，所述第三反馈信息指示所述TOPIC中的数据参与实时计算过程中存在数据丢失。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当判断所述生产偏移量与所述消费偏移量不一致时，获取所述生产偏移量与所述消费偏移量的第一差值；

若所述第一差值大于第一预设阈值，则将所述第一差值写入到所述第一反馈信息中，所述第一反馈信息用于提示数据丢失的数量。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当所述HDFS文件偏移量与所述消费偏移量不一致时，获取所述HDFS文件偏移量与所述消费偏移量的第二差值；

若所述第二差值大于第二预设阈值，则将所述第二差值写入到所述第二反馈信息中，所述第二反馈信息用于提示数据丢失的数量。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当所述实时计算偏移量与所述消费偏移量不一致时，获取所述实时计算偏移量与所述消费偏移量的第三差值；

若所述第三差值大于第三预设阈值，则将所述第三差值写入到所述第三反馈信息中，所述第三反馈信息用于提示数据丢失的数量。

7.一种检测数据丢失的系统，其特征在于，包括：获取单元、判断单元和反馈单元；

所述获取单元，用于获取生产者将数据写入到主题TOPIC中的数据条数作为生产偏移量，获取消费者从所述TOPIC中消费的数据的数据条数作为消费偏移量；

所述判断单元，用于判断所述生产偏移量与所述消费偏移量是否一致；

所述反馈单元，若判断结果为否时，用于反馈所述消费者在消费所述TOPIC中数据过程中存在数据丢失。

8.根据权利要求7所述的系统，其特征在于，在所述消费者消费所述TOPIC中数据后，若所述生产偏移量与所述消费偏移量一致；所述获取单元，还用于获取所述TOPIC中的数据被存储为所述HDFS文件的数据条数作为分布式HDFS文件偏移量；

所述判断单元，还用于判断所述HDFS文件偏移量与所述消费偏移量是否一致；

所述反馈单元，若判断结果为否时，还用于生成第二反馈信息，所述第二反馈信息指示所述TOPIC中的数据被存储为所述HDFS文件过程中存在数据丢失。