[发明专利]动态化数据质量分析方法及平台系统

说明书

本申请实施例适用于大数据技术领域，公开了一种动态化数据质量分析方法及平台系统，其中，方法包括：获取待分析数据；动态配置和/或动态增加待分析数据对应的质量分析策略；根据质量分析策略，为待分析数据打上质量标签，生成标签数据。本申请实施例通过获取待分析数据，为待分析数据打上质量标签，得出质量分析结果，舍弃了传统的硬编码形式，数据质量维护容易、可统一管理以及灵活配置。

技术领域

本申请属于大数据技术领域，尤其涉及一种动态化数据质量分析方法及平台系统。

背景技术

当今社会，数据量正迅猛增长，数据的表示形式千变万化，标志着我们已经进入了大数据时代。而大数据时代的到来，对数据管理和从数据中提取有价值的信息提出了挑战。数据质量是有效分析和利用大数据的前提，是大数据产生跨区域、跨行业和跨部门价值的保障。

大数据是企业决策的基础，但是，单纯的数据量的积累不会对企业产生任何益处，只有建立适当的分析模型，并运用相应的技术手段，对大量的数据进行有效的深入加工，以此来发现隐含在大量数据中的信息并加以利用进而指导企业做出相关决策，才能将大数据的真正效用发挥到极致。

然而，目前的业务系统的数据质量分析基本都使用硬编码形式实现，存在数据质量规则维护困难、缺乏统一管理以及不够灵活等问题。

发明内容

本申请实施例提供一种动态化数据质量分析方法及平台系统，以解决数据质量规则维护困难、缺乏统一管理以及不够灵活等问题问题。

第一方面，本申请实施例提供一种动态化数据质量分析方法，包括：

获取待分析数据；

动态配置和/或动态增加所述待分析数据对应的质量分析策略；

根据所述质量分析策略，为所述待分析数据打上质量标签，生成标签数据。

结合第一方面，在一种可能的实现方式中，所述动态配置和/或动态增加所述待分析数据对应的质量分析策略，包括：

从所述待分析数据的元数据中确定目标元数据，所述目标元数据为需要进行质量分析的元数据；

判断是否存在目标元数据对应的目标质量分析策略；

当存在所述目标质量分析策略时，通过动态配置将所述目标质量分析策略作为所述质量分析策略；

当不存在所述目标质量分析策略时，动态增加所述目标元数据对应的质量分析策略。

结合第一方面，在一种可能的实现方式中，在判断出存在所述目标质量分析策略之后，还包括：

判断所述目标质量分析策略是否可用于所述目标元数据；

当所述质量分析规则可用于所述目标元数据时，进入将所述目标质量分析策略作为所述质量分析策略的步骤。

结合第一方面，在一种可能的实现方式中，所述动态增加所述目标元数据对应的质量分析策略，包括：

判断所述元数据是否满足质量分析策略的使用要求；

当所述元数据满足所述使用要求时，判断所述目标元数据是否为结构化数据；

当所述目标元数据为结构化数据时，动态配置并启用所述目标元数据对应的质量分析规则；

当所述目标元数据为非结构化数据时，选择与所述目标元数据对应的算法，并设定算法参数，启用所述目标元数据对应的质量分析算法。

结合第一方面，在一种可能的实现方式中，在所述判断所述元数据是否满足质量分析策略的使用要求之后，还包括：

当所述元数据不满足所述使用要求时，确定缺少的元数据；