[发明专利]基于kafka数据量的数据统计方法、装置及介质

说明书

本发明公开了一种基于kafka数据量的数据统计方法、装置及介质。通过周期性地获取待查询的数据质量列表，并解析得到目标时刻对应的各待查询数据信息；根据各待查询数据信息进行数据查询，得到基本信息表数据列表，并依次获取基本信息表数据列表中的一条基本信息表数据；根据基本信息表数据，确定出当前偏移量和初始偏移量，并计算得到目标时刻对应的目标数据量；根据目标数据量，确定目标操作结果，并返回依次获取基本信息表数据列表中的一条基本信息表数据的操作，直至遍历完成基本信息表数据列表。解决了流平台不能实时监控数据变化，无法确定是否存在数据丢失的问题，实现了能够实时监测数据的变化，提高数据的安全性、易用性和直观性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于kafka数据量的数据统计方法、装置及介质。

背景技术

流平台可以实现发布和订阅消息流，类似于消息队列。流平台以容错的方式存储消息流，实时处理消息流。具体的，流平台可以是kafka，kafka通常应用于两大类应用，比如说可以构建实时数据流管道，以可靠的获取系统或应用之间的数据，构建实时转换或响应数据流的应用程序。

发明人在实现本发明的过程中，发现现有技术存在如下缺陷：目前，流平台目前无法了解到是否存在数据丢失的情况，缺少一个实时监控数据变化情况的功能模块。

发明内容

本发明提供了一种基于kafka数据量的数据统计方法、装置及介质，以实现实时监测数据的变化，提高数据的安全性、易用性和直观性。

根据本发明的一方面，提供了一种基于kafka数据量的数据统计方法，其中，包括：

周期性地获取待查询的数据质量列表，并解析所述数据质量列表得到目标时刻对应的各待查询数据信息；

根据所述各待查询数据信息进行数据查询，得到基本信息表数据列表，并依次获取所述基本信息表数据列表中的一条基本信息表数据；其中，所述基本信息表数据列表包括至少一条基本信息表数据；

根据所述基本信息表数据，确定出当前偏移量和初始偏移量，并根据所述当前偏移量和所述初始偏移量计算得到所述目标时刻对应的目标数据量；

根据所述目标数据量，确定目标操作结果，并返回依次获取所述基本信息表数据列表中的一条基本信息表数据的操作，直至遍历完成所述基本信息表数据列表。

根据本发明的另一方面，提供了一种基于kafka数据量的数据统计装置，其中，包括：

各待查询数据信息确定模块，用于周期性地获取待查询的数据质量列表，并解析所述数据质量列表得到目标时刻对应的各待查询数据信息；

基本信息表数据获取模块，用于根据所述各待查询数据信息进行数据查询，得到基本信息表数据列表，并依次获取所述基本信息表数据列表中的一条基本信息表数据；其中，所述基本信息表数据列表包括至少一条基本信息表数据；

目标数据量计算模块，用于根据所述基本信息表数据，确定出当前偏移量和初始偏移量，并根据所述当前偏移量和所述初始偏移量计算得到所述目标时刻对应的目标数据量；

目标操作结果确定模块，用于根据所述目标数据量，确定目标操作结果，并返回依次获取所述基本信息表数据列表中的一条基本信息表数据的操作，直至遍历完成所述基本信息表数据列表。

根据本发明的另一方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现本发明任一实施例所述的基于kafka数据量的数据统计方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于kafka数据量的数据统计方法。