[发明专利]一种数据质量检测方法、装置、可读介质及电子设备

说明书

本发明公开了一种数据质量检测方法、装置、可读介质及电子设备，包括：通过数据源获取第一时段对应的第一统计数据；所述第一时段包括至少一个历史周期；通过所述数据源获取第二时段对应的第二统计数据；所述第二时段包括所述至少一个历史周期；基于所述第一统计数据和所述第二统计数据，计算各历史周期对应的数据质量指标；并根据所述数据质量指标，对所述数据源中对应所述历史周期内的数据进行质量检测；实现了针对时段内的各个历史周期进行数据质量的检测，以便于准确的发现各历史周期内的数据统计是否产生出入，也确保每周期内的数据数量适当，使得本实施例所述的质量检测有足够精确的粒度，由此使得数据质量检测过程更加完善准确。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据质量检测方法、装置、可读介质及电子设备。

背景技术

数据质量管理(Data Quality Management，简称DQM)，包含了对于数据质量和数据组织的改善和管理。数据质量管理能够直接影响数据分析的效果，所以其在当前热门的人工智能、大数据分析领域存在重要的价值。

现有的数据质量管理中对于数据准确性的检测，通常是将一定时间范围内的数据统计汇总，并通过数据总量的变化情况进行分析和检测。但是这种检测方式无法发现对于历史数据统计上产生的出入。

发明内容

本发明提供及一种数据质量检测方法、装置、可读介质及电子设备，针对时段内的各个历史周期进行数据质量的检测，以便于准确的发现各历史周期内的数据统计是否产生出入。

第一方面，本发明提供了一种数据质量检测方法，包括：

通过数据源获取第一时段对应的第一统计数据；所述第一时段包括至少一个历史周期；

通过所述数据源获取第二时段对应的第二统计数据；所述第二时段包括所述至少一个历史周期；

基于所述第一统计数据和所述第二统计数据，计算各历史周期对应的数据质量指标；

并根据所述数据质量指标，对所述数据源中对应所述历史周期内的数据进行质量检测。

优选地，所述通过数据源获取第一时段对应的第一统计数据包括：

获取所述数据源中，与所述第一时段中各历史周期对应的数据；

根据所述第一时段中各历史周期对应的数据，计算得到所述第一时段中各历史周期对应第一周期性数据；

将各所述第一周期性数据合并为所述第一统计数据。

优选地，所述通过数据源获取第二时段对应的第二统计数据包括：

获取所述数据源中，与所述第二时段中各历史周期对应的数据；

根据所述第二时段中各历史周期对应的数据，计算得到所述第二时段中各历史周期对应第二周期性数据；

将各所述第二周期性数据合并为所述第二统计数据。

优选地，所述第二时段还包括至少一个新增周期，则还包括：

获取所述数据源中，与所述第二时段中各新增周期对应的数据；

根据所述第二时段中各新增周期对应的数据，计算得到所述第二时段中各新增周期对应第三周期性数据。

优选地，通过数据源获取第二时段对应的第二统计数据包括：

将各所述第二周期性数据和各所述第三周期性数据，合并为所述第二统计数据。

优选地，所述基于所述第一统计数据和所述第二统计数据，计算各历史周期对应的数据质量指标包括：

基于所述历史周期对应的第一周期性数据和第二周期性数据，计算所述历史周期对应的数据质量指标。