[发明专利]一种多维异构数据的数据质量检测方法及装置

说明书

本申请实施例公开了一种多维异构数据的数据质量检测方法及装置。本申请实施例提供的技术方案，通过建立数据质量检查规则对接收到不同数据源的资源数据进行标准化处理，对处于不同网域、业务域的异构数据进行标准化处理；并通过调用不同的处理接口对获取到的资源数据进行进一步的识别以实现数据的补全，并通过对补全后的数据进行质量检测来判断是否对其进行数据存储或告警，通过本申请实施例的方案实现管理部门对数据入网的精细化管理，为视频大数据应用场景快速准备可用、可信、可靠、安全的数据。

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种多维异构数据的数据质量检测方法及装置。

背景技术

城市多维感知数据逐渐成为城市基础数据来源。但目前城市管理部门为了不同业务建立了众多烟囱式系统，这类系统都有自己的存储设备和IT设备，以及独立的管理工具和数据库，不同的系统不能共享资源，不能交互和访问，形成了资源孤岛和信息孤岛。并且不同数据之间由于使用场景的不同，其数据标准也并不相同，不能够有效可控的对其进行数据管理。因此，设计一种能够接入多维数据信息以及对其进行管理的方法成为本领域技术人员亟待解决的技术问题。

发明内容

本申请实施例提供一种多维异构数据的数据质量检测方法及装置，能够通过建立数据质量检查规则对接收到不同数据源的资源数据进行标准化处理，对不同网域、业务域的异构数据孤岛标准化处理，实现管理部门对数据入网的精细化管理，为视频大数据应用场景快速准备可用、可信、可靠、安全的数据。

在第一方面，本申请实施例提供了一种多维异构数据的数据质量检测方法，包括：

接收不同数据源传输的资源数据，所述资源数据包括基础设备数据、人口数据、物流数据和轨迹类数据；

按照预设数据表对所述资源数据进行数据转换补全以得到补全资源数据，在所述进行数据转换补全过程中将所述基础设备数据、物流数据、轨迹类数据与人口数据进行融合处理以进行数据补全；

按照预设数据质量规则对所述补全资源数据进行数据质量探查以判断所述补全资源数据是否满足预设质量要求；

对满足预设质量要求的补全资源数据进行数据存储。

进一步的，在所述对满足预设质量要求的补全资源数据进行数据存储之后，还包括：

对不满足预设质量要求的补全资源数据进行告警操作。

进一步的，在所述接收不同数据源传输的资源数据之前，还包括：

对接入前的不同数据源传输的资源数据进行数据探查，所述数据探查包括空值率探查、枚举值探查和数据分布探查。

进一步的，所述按照预设数据质量规则对所述补全资源数据进行数据质量探查，包括：

按照预设数据质量规则对所述补全资源数据进行数据探查，所述预设数据质量规则包括数据字段规则、设备建档信息校验规则和视频图片质量规则中的一种或多种。

进一步的，所述按照预设数据质量规则对所述补全资源数据进行数据质量探查，包括：

依照不同的补全资源数据配置不同的预设数据质量规则来进行数据质量探查。

进一步的，在所述对满足预设质量要求的补全资源数据进行数据存储之后，还包括：

对进行数据存储后的补全资源数据进行周期性质量分析得到对应的质量报表，并对所述质量报表进行显示。

进一步的，所述轨迹类数据包括人脸抓拍数据、卡口过车数据、视频门禁数据、视频结构化数据、电围数据、WIFI数据中的一种或多种；

在所述接收不同数据源传输的资源数据，所述资源数据包括基础设备数据、人口数据、物流数据和轨迹类数据之后，还包括：