[发明专利]一种数据质量检测方法及装置

权利要求书

1.一种数据质量检测装置，其特征在于，包括：

显示屏，被配置为显示界面；

处理器，被配置为：

在所述显示屏显示配置界面时，响应于用户配置的检测任务，获取待检测的数据流；

若所述检测任务中包含质量检测任务，则基于所述质量检测任务对应的质量检测规则，对所述数据流进行质量检测；其中，所述质量检测规则是根据预设的基础检测模板和用户配置的参数范围生成的。

2.如权利要求1所述的装置，其特征在于，获取待检测的数据流时，所述处理器被配置为：

根据所述检测任务中包含的数据流标识，采用数据实时计算引擎，从数据实时采集引擎中实时获取所述数据流标识对应的数据流，作为待检测的数据流。

3.如权利要求1或2所述的装置，其特征在于，基于所述质量检测任务对应的质量检测规则，对所述数据流进行质量检测时，所述处理器被配置为：

采用质量检测引擎，根据所述质量检测任务中配置的至少一个检测字段，基于所述质量检测任务对应的质量检测规则，对所述数据流中的所述至少一个检测字段进行质量检测。

4.如权利要求1或2所述的装置，其特征在于，所述检测任务中还包含波动检测任务，

获取待检测的数据流之后，所述处理器被配置为：

根据所述波动检测任务中配置的检测周期，获取相应的数据数目，并根据所述波动检测任务中配置的基准数量和所述数据数目，确定相应的波动率；

将所述波动率和所述波动检测任务中配置的波动率阈值进行匹配，确定波动率检测结果。

5.如权利要求4所述的装置，其特征在于，根据所述波动检测任务中配置的检测周期，获取相应的数据数目，并根据所述波动检测任务中配置的基准数量和所述数据数目，确定相应的波动率时，所述处理器被配置为：

若所述波动检测任务为表级波动检测任务，则根据所述检测周期，统计获取的数据流的数据总数目，并根据所述基准数量和所述数据总数目，确定表级波动率；

若所述波动检测任务为字段级波动检测任务，则根据字段级波动检测任务中配置的指定字段和所述检测周期，统计获取的数据流的指定字段中包含的同一属性值出现的数目，并根据所述基准数量和所述同一属性值出现的数目，确定字段级波动率。

6.一种数据质量检测方法，其特征在于，应用于数据质量检测装置，包括：

在数据质量检测装置的显示屏显示配置界面时，响应于用户配置的检测任务，获取待检测的数据流；

若所述检测任务中包含质量检测任务，则基于所述质量检测任务对应的质量检测规则，对所述数据流进行质量检测；其中，所述质量检测规则是根据预设的基础检测模板和用户配置的参数范围生成的。

7.如权利要求6所述的方法，其特征在于，获取待检测的数据流，具体包括：

根据所述检测任务中包含的数据流标识，采用数据实时计算引擎，从数据实时采集引擎中实时获取所述数据流标识对应的数据流，作为待检测的数据流。

8.如权利要求6或7所述的方法，其特征在于，基于所述质量检测任务对应的质量检测规则，对所述数据流进行质量检测，具体包括：

采用质量检测引擎，根据所述质量检测任务中配置的至少一个检测字段，基于所述质量检测任务对应的质量检测规则，对所述数据流中的所述至少一个检测字段进行质量检测。

9.如权利要求6或7所述的方法，其特征在于，所述检测任务中还包含波动检测任务，

获取待检测的数据流之后，还包括：

根据所述波动检测任务中配置的检测周期，获取相应的数据数目，并根据所述波动检测任务中配置的基准数量和所述数据数目，确定相应的波动率；

将所述波动率和所述波动检测任务中配置的波动率阈值进行匹配，确定波动率检测结果。

10.如权利要求9所述的方法，其特征在于，根据所述波动检测任务中配置的检测周期，获取相应的数据数目，并根据所述波动检测任务中配置的基准数量和所述数据数目，确定相应的波动率时，具体包括：

若所述波动检测任务为表级波动检测任务，则根据所述检测周期，统计获取的数据流的数据总数目，并根据所述基准数量和所述数据总数目，确定表级波动率；

若所述波动检测任务为字段级波动检测任务，则根据字段级波动检测任务中配置的指定字段，所述检测周期，统计获取的数据流的指定字段中包含的同一属性值出现的数目，并根据所述基准数量和所述同一属性值出现的数目，确定字段级波动率。