[发明专利]基于kafka数据量的数据统计方法、装置及介质

摘要

本发明公开了一种基于kafka数据量的数据统计方法、装置及介质。通过周期性地获取待查询的数据质量列表，并解析得到目标时刻对应的各待查询数据信息；根据各待查询数据信息进行数据查询，得到基本信息表数据列表，并依次获取基本信息表数据列表中的一条基本信息表数据；根据基本信息表数据，确定出当前偏移量和初始偏移量，并计算得到目标时刻对应的目标数据量；根据目标数据量，确定目标操作结果，并返回依次获取基本信息表数据列表中的一条基本信息表数据的操作，直至遍历完成基本信息表数据列表。解决了流平台不能实时监控数据变化，无法确定是否存在数据丢失的问题，实现了能够实时监测数据的变化，提高数据的安全性、易用性和直观性。