[发明专利]基于kafka数据量的数据统计方法、装置及介质

权利要求书

1.一种基于kafka数据量的数据统计方法，其特征在于，包括：

周期性地获取待查询的数据质量列表，并解析所述数据质量列表得到目标时刻对应的各待查询数据信息；

根据所述各待查询数据信息进行数据查询，得到基本信息表数据列表，并依次获取所述基本信息表数据列表中的一条基本信息表数据；其中，所述基本信息表数据列表包括至少一条基本信息表数据；

根据所述基本信息表数据，确定出当前偏移量和初始偏移量，并根据所述当前偏移量和所述初始偏移量计算得到所述目标时刻对应的目标数据量；

根据所述目标数据量，确定目标操作结果，并返回依次获取所述基本信息表数据列表中的一条基本信息表数据的操作，直至遍历完成所述基本信息表数据列表。

2.根据权利要求1所述的方法，其特征在于，所述基本信息表数据包括：当前时刻数据量、上一时刻的数据量和初始时刻的数据量；

所述根据所述基本信息表数据，确定出当前偏移量和初始偏移量，并根据所述当前偏移量和所述初始偏移量计算得到所述目标时刻对应的目标数据量，包括：

根据所述当前时刻数据量和所述上一时刻的数据量，计算得到所述当前偏移量；

根据所述基本信息表数据对应的初始时刻的数据量和所述基本信息表数据列表，确定出所述初始偏移量；其中，按照时间排序中最小时间对应的数据量，来确定所述初始时刻的数据量；

将所述当前偏移量减去所述初始偏移量计算得到所述目标时刻对应的所述目标数据量。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标数据量，确定目标操作结果，包括：

判断所述目标数据量是否大于等于零，若是，则确定所述目标操作结果对应为将所述目标数据量存储于数据库中；

若否，则为所述目标操作结果对应生成告警信息，并将所述告警信息插入告警信息表中，将所述告警信息表反馈给用户。

4.根据权利要求2所述的方法，其特征在于，所述根据所述基本信息表数据对应的初始时刻的数据量和所述基本信息表数据列表，确定出所述初始偏移量，包括：

获取所述基本信息表数据列表对应的kafka数据变化表，以及获取所述基本信息表数据对应的目标kafka主题；

判断所述kafka数据变化表中是否存在目标kafka主题的记录，若是，则获取所述目标时刻对应的初始时刻的所述初始偏移量。

5.根据权利要求3所述的方法，其特征在于，在所述根据所述目标数据量，确定目标操作结果之后，还包括：

根据所述目标数据量，对所述基本信息表数据进行更新处理，得到更新基本信息表数据；

将所述目标数据量和所述更新基本信息表数据存入数据库中；

根据所述数据库对应的预先设置的数据信息验证模块，对所述目标数据量进行验证处理，并得到验证结果；

其中，所述数据信息验证模块包括下述至少一项：kafka集群验证模块、文件服务器验证模块和分布式文件系统验证模块，各所述数据信息验证模块包括至少一个数据验证目录。

6.根据权利要求5所述的方法，其特征在于，所述根据所述数据库对应的预先设置的数据信息验证模块，对所述目标数据量进行验证处理，并得到验证结果，包括：

在所述数据信息验证模块中，依次获取一个目标数据信息验证模块；

根据所述目标数据信息验证模块，确定出标准数据量；

判断所述更新基本信息表数据对应的目标数据量是否与标准数据量一致，若是，则确定完成目标数据量的验证；

若否，则生成告警信息，并将所述告警信息插入告警信息表中，将所述告警信息表反馈给用户。

7.根据权利要求1所述的方法，其特征在于，所述待查询数据信息包括下述至少一项：数据表名字、查询时间条件、kafka主题条件、或者融合条件信息。