[发明专利]一种数据质量检测方法及装置

说明书

本公开涉及数据质量领域，特别涉及一种数据质量检测方法及装置，用于提高数据质量检测过程的可扩展性，该方法为：在显示屏显示配置界面时，响应于用户配置的检测任务，获取待检测的数据流，若检测任务中包含质量检测任务，则基于质量检测任务对应的质量检测规则，对数据流进行质量检测，其中，质量检测规则是根据预设的基础检测模板和用户配置的参数范围生成的。这样，通过预设的基础检测模板和用户配置的参数范围生成质量检测规则，而不再是采用固定的质量检测规则，避免了规则更改时进行源码修改，提高了数据质量检测过程的可扩展性，同时，从数据流中进行检测，简化了检测过程，缩短了数据质量检测时间。

技术领域

本公开涉及数据质量检测领域，特别涉及一种数据质量检测方法及装置。

背景技术

随着信息技术的发展和大数据时代的到来，数据信息朝着海量、多样化的方向发展，数据质量日益受到各企业以及政府部门的重视。其中，如何对数据质量进行灵活、准确、高效的检测是一个非常值得关注的研究方向。

目前，对于数据质量的检测，通常需要开发人员或用户采用特定的程序语言，编写数据检测规则对应的代码，进而根据数据检测规则，对待检测数据进行检测。然而，现有的数据质量检测方式中，若数据检测规则出现更改、增加等变更时，需要开发人员或用户修改源码，因此，可扩展性较差。

发明内容

本公开提供了一种数据质量检测方法及装置，用以提高数据质量检测过程的可扩展性。

本公开实施例提供的具体技术方案如下：

第一方面，一种数据质量检测装置，包括：

显示屏，被配置为显示界面；

处理器，被配置为：

在所述显示屏显示配置界面时，响应于用户配置的检测任务，获取待检测的数据流；

若所述检测任务中包含质量检测任务，则基于所述质量检测任务对应的质量检测规则，对所述数据流进行质量检测；其中，所述质量检测规则是根据预设的基础检测模板和用户配置的参数范围生成的。

可选的，获取待检测的数据流时，所述处理器被配置为：

根据所述检测任务中包含的数据流标识，采用数据实时计算引擎，从数据实时采集引擎中实时获取所述数据流标识对应的数据流，作为待检测的数据流。

可选的，基于所述质量检测任务对应的质量检测规则，对所述数据流进行质量检测时，所述处理器被配置为：

采用质量检测引擎，根据所述质量检测任务中配置的至少一个检测字段，基于所述质量检测任务对应的质量检测规则，对所述数据流中的所述至少一个检测字段进行质量检测。

可选的，所述检测任务中还包含波动检测任务，

获取待检测的数据流之后，所述处理器被配置为：

根据所述波动检测任务中配置的检测周期，获取相应的数据数目，并根据所述波动检测任务中配置的基准数量和所述数据数目，确定相应的波动率；

将所述波动率和所述波动检测任务中配置的波动率阈值进行匹配，确定波动率检测结果。

可选的，根据所述波动检测任务中配置的检测周期，获取相应的数据数目，并根据所述波动检测任务中配置的基准数量和所述数据数目，确定相应的波动率时，所述处理器被配置为：

若所述波动检测任务为表级波动检测任务，则根据所述检测周期，统计获取的数据流的数据总数目，并根据所述基准数量和所述数据总数目，确定表级波动率；