[发明专利]基于数据预分析的数据规则探查方法及装置

权利要求书

1.一种基于数据预分析的数据规则探查方法，其特征在于，所述方法包括：

定义字段分析需求；

对于所述字段分析需求指示的不同类型的待分析字段，使用所述待分析字段对应的分析规则进行分析，得到分析结果；所述分析结果用于指示所述待分析字段是否存在所述分析规则对应的问题。

2.根据权利要求1所述的方法，其特征在于，所述定义字段分析需求，包括：

显示字段选择页面，所述字段选择页面包括不同分类的字段的输入控件；

通过所述不同分类的字段的输入控件接收所述待分析字段，得到所述字段分析需求。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过数据分析页面显示所述分析结果。

4.根据权利要求3所述的方法，其特征在于，所述数据分析页面包括数据预览子页面和统计分析子页面；

所述数据预览子页面用于预览所述待分析字段；

所述统计分析子页面用于显示所述分析结果。

5.根据权利要求3所述的方法，其特征在于，所述通过数据分析页面显示所述分析结果，包括：

使用抽样及presto从所述分析结果中获取第一结果数据并显示；

和/或，

使用spark算子从所述分析结果中获取第二结果数据并显示。

6.根据权利要求1所述的方法，其特征在于，所述待分析字段的类型包括字符串类型，所述字符串类型对应的分析规则包括：统计数据量、统计空值率占比、统计有效值占比、统计重复率占比、重复值示例枚举、确定是否存在空格、确定数据最大长度、确定是否符合规范、确定数据类型异常值和确定是否含特殊字符。

7.根据权利要求1所述的方法，其特征在于，所述待分析字段的类型包括日期类型，所述日期类型对应的分析规则包括：统计数据量、统计空值率占比、统计有效值占比、统计值域占比和确定是否存在空格。

8.根据权利要求1所述的方法，其特征在于，所述待分析字段的类型包括数字型，所述数字型为整型、浮点型和/或数值型；所述数字型对应的分析规则包括：统计数据量、统计空值率占比、统计有效值占比、统计零值率占比、统计重复率占比、重复值示例枚举、确定是否存在空格、统计值域、计算均值和确定是否符合规范。

9.根据权利要求1所述的方法，其特征在于，所述待分析字段的类型包括布尔型，所述布尔型对应的分析规则包括：统计数据量、统计空值率占比、统计有效值占比和确定是否存在空格。

10.一种基于数据预分析的数据规则探查装置，其特征在于，所述装置包括：

需求定义模块，用于定义字段分析需求；

字段分析模块，用于对于所述字段分析需求指示的不同类型的待分析字段，使用所述待分析字段对应的分析规则进行分析，得到分析结果；所述分析结果用于指示所述待分析字段是否存在所述分析规则对应的问题。