[发明专利]一种基于多维分析技术的数据质量健康度分析方法及系统

说明书

本发明公开了一种基于多维分析技术的数据质量健康度分析方法及系统，包括：获取第一数量个目标业务数据样本，利用预设相似度对比规则、预设完整性评估规则、预设唯一性评估规则和预设关联性评估规则来构建数据分析模型，接收目标用户选择的目标评估类型，根据目标评估类型利用数据分析模型对第一数量个目标业务数据样本进行分析评估，生成质量健康度分析报告，将质量健康度分析报告以图形化的格式进行展示。既可以避免人工排查而浪费人力情况的发生又可以准确地对业务数据样本的数据质量做出全面、高效的分析，及时地剔除掉无用数据从避免无用数据占用数据情况的发生，使得用户可以无需面对无用数据的干扰，提高了用户的使用体验感。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于多维分析技术的数据质量健康度分析方法及系统。

背景技术

在企业数据标准化常态经营过程中，期望通过数据标准化管理反馈价值至业务，数据质量的重要性无论如何强调都是不过分的。在企业标准化数据常态经营过程中，低质量数据的产生是不可避免的，大批量的数据初始化、未处理历史数据带来的问题扩散、紧急业务产生的低质量数据，都将影响数据标准编码库的质量。控制低质量数据的产生几率和及时发现低质量数据并进行有效的处理，是企业能够组织开展的举措，因此对企业数据质量管理的正确理解，并非是不产生低质量数据，这从实际而言是理论级目标，在企业数据质量管理实际操作中，是通过科学、有效、专业的管理和技术支持，减低并控制低质量数据的产生率和存在率，及时发现低质量数据并进行有效的处理，控制标准编码库的高健康度，但由于数据编码库的数据量庞大、数据信息复杂性、专业要求高等因素，人工进行质量保障存在难度，需通过专业的质量管理工具对标准数据编码库进行检测，发现需要处理缺失数据、需去除的重复数据、需去除的噪声数据、需处理的异常(但真实)的数据，通过专业化的数据质量管理平台提供数据健康度分析，为数据清洗和治理提供依据，再使用数据清洗平台进行数据清洗治理，从而保证数据的完整性、唯一性、一致性、精确性、合法性、及时性等数据质量。现有技术中的数据质量管理方法无法对数据质量做出全面、高效的分析，进而导致无用数据的清理不完全从而占用数据内存和影响用户调用数据，严重地影响了用户的使用体验感。

发明内容

针对上述所显示出来的问题，本发明提出了一种基于多维分析技术的数据质量健康度分析方法及系统用以解决背景技术中提到的现有技术中的数据质量管理方法无法对数据质量做出全面、高效的分析，进而导致无用数据的清理不完全从而占用数据内存和影响用户调用数据，严重地影响了用户的使用体验感的问题。

一种基于多维分析技术的数据质量健康度分析方法，包括以下步骤：

获取第一数量个目标业务数据样本；

利用预设相似度对比规则、预设完整性评估规则、预设唯一性评估规则和预设关联性评估规则来构建数据分析模型；

接收目标用户选择的目标评估类型，根据所述目标评估类型利用所述数据分析模型对所述第一数量个目标业务数据样本进行分析评估，生成质量健康度分析报告；

将所述质量健康度分析报告以图形化的格式进行展示；

其中，所述目标评估类型为：相似度评估、完整性评估、唯一性评估和关联性评估中的一种或者多种。

优选的，在获取第一数量个目标业务数据样本之前，所述方法还包括：

通过预设条件确定数据样本的第一数量；

基于所述第一数量确定状态函数；

根据所述状态函数确定筛选条件，在第二数量个初始业务数据样本中筛选出满足所述筛选条件的第一数量个初始业务数据样本，其中，所述第二数量大于所述第一数量；

将所述第一数量个初始业务数据样本确认为所述第一数量个目标业务数据样本。