[发明专利]基于数据预分析的数据规则探查方法及装置

说明书

本申请涉及一种基于数据预分析的数据规则探查方法及装置，属于计算机技术领域，该方法包括：定义字段分析需求；对于字段分析需求指示的不同类型的待分析字段，使用待分析字段对应的分析规则进行分析，得到分析结果；分析结果用于指示待分析字段是否存在分析规则对应的问题；可以解决直接使用预设的质检规则进行数据治理时，由于质检规则准确性较低，导致产生大量无效运算的问题；通过数据预分析发现数据中存在哪些问题，进而可以根据这些问题形成质检规则来检测异常数据，提高规则的准确性与宽泛性。

技术领域

本申请涉及一种基于数据预分析的数据规则探查方法及装置，属于计算机技术领域。

背景技术

数据治理(Data Governance)是组织中涉及数据使用的一整套管理行为。目前，各组织的数据治理通常基于已定义的质检规则，发现并整改问题数据。

其中，已定义的质检规则通常由数据提供方提供，或由专人对数据进行初步分析后产出。

然而，通过常数方式确定出的质检规则，无法确认海量数据中是否有数据符合可能存在的问题，质检规则缺失准确性，可能导致大量无效运算。

发明内容

本申请提供了一种基于数据预分析的数据规则探查方法及装置，可以解决直接使用预设的质检规则进行数据治理时，由于质检规则准确性较低，导致产生大量无效运算的问题。本申请提供如下技术方案：

第一方面，提供了一种基于数据预分析的数据规则探查方法，所述方法包括：

定义字段分析需求；

对于所述字段分析需求指示的不同类型的待分析字段，使用所述待分析字段对应的分析规则进行分析，得到分析结果；所述分析结果用于指示所述待分析字段是否存在所述分析规则对应的问题。

可选地，所述定义字段分析需求，包括：

显示字段选择页面，所述字段选择页面包括不同分类的字段的输入控件；

通过所述不同分类的字段的输入控件接收所述待分析字段，得到所述字段分析需求。

可选地，所述方法还包括：

通过数据分析页面显示所述分析结果。

可选地，所述数据分析页面包括数据预览子页面和统计分析子页面；

所述数据预览子页面用于预览所述待分析字段；

所述统计分析子页面用于显示所述分析结果。

可选地，所述通过数据分析页面显示所述分析结果，包括：

使用抽样及presto从所述分析结果中获取第一结果数据并显示；

和/或，

使用spark算子从所述分析结果中获取第二结果数据并显示。

可选地，所述待分析字段的类型包括字符串类型，所述字符串类型对应的分析规则包括：统计数据量、统计空值率占比、统计有效值占比、统计重复率占比、重复值示例枚举、确定是否存在空格、确定数据最大长度、确定是否符合规范、确定数据类型异常值和确定是否含特殊字符。

可选地，所述待分析字段的类型包括日期类型，所述日期类型对应的分析规则包括：统计数据量、统计空值率占比、统计有效值占比、统计值域占比和确定是否存在空格。

可选地，所述待分析字段的类型包括数字型，所述数字型为整型、浮点型和/或数值型；所述数字型对应的分析规则包括：统计数据量、统计空值率占比、统计有效值占比、统计零值率占比、统计重复率占比、重复值示例枚举、确定是否存在空格、统计值域、计算均值和确定是否符合规范。