[发明专利]一种数据探查方法、装置、设备及存储介质

权利要求书

1.一种数据探查方法，其特征在于，包括：

获取待处理数据，以及所述待处理数据的字段属性；

根据所述待处理数据的字段属性，对所述待处理数据进行探查分析；

其中，所述字段属性包括字段的语义、空值率、值域分布及类型格式；

其中，所述根据所述待处理数据的字段属性，对所述待处理数据进行探查分析，包括：

根据字段空值率探查方式、字段值域与分布探查方式、数据元标准映射探查方式以及字段类型与格式探查方式中的至少一种探查方式对所述待处理数据进行探查分析；

其中，根据所述字段空值率探查方式对所述待处理数据进行探查分析，包括：

统计所述待处理数据的各个字段的空值占比情况；

根据所述空值占比情况确定各所述字段的探查权重，所述探查权重用于指示在数据接入或者其他探查方式中对所述字段的关注程度；

其中，根据所述字段空值率探查方式对所述待处理数据进行探查分析，包括：

统计所述待处理数据的各个字段的空值占比情况；

将当前的空值占比情况与历史的空值占比情况进行比较，以确定所述待处理数据的数据质量的动态变化；

其中，根据所述数据元标准映射探查方式对所述待处理数据进行探查分析，包括：

根据所述待处理数据的各个字段的名称和内容，探查各所述字段的语义；

将各所述字段的语义映射到数据元标准上，以实现对所述待处理数据的整理。

2.根据权利要求1述的数据探查方法，其特征在于，还包括：

根据所述待处理数据的内容识别命名实体，以理解字段语义。

3.根据权利要求1述的数据探查方法，其特征在于，在所述根据所述待处理数据的字段属性，对所述待处理数据进行探查分析之后，还包括：

根据业务探查方式、接入过程探查方式、数据集探查方式以及问题数据探查方式中的至少一种探查方式对所述待处理数据进行探查分析。

4.一种数据探查装置，其特征在于，包括：

数据获取模块，用于获取待处理数据，以及所述待处理数据的字段属性；

探查分析模块，用于根据所述待处理数据的字段属性，对所述待处理数据进行探查分析；

其中，所述字段属性包括字段的语义、空值率、值域分布及类型格式；

其中，探查分析模块，具体用于：根据字段空值率探查方式、字段值域与分布探查方式、数据元标准映射探查方式以及字段类型与格式探查方式中的至少一种探查方式对待处理数据进行探查分析；

其中，所述探查分析模块，包括：

空值占比情况统计子模块，用于统计待处理数据的各个字段的空值占比情况；

探查权重确定子模块，用于根据空值占比情况确定各字段的探查权重，所述探查权重用于指示在数据接入或者其他探查方式中对所述字段的关注程度；

其中，所述探查分析模块，还包括：

空值占比情况统计子模块，用于统计待处理数据的各个字段的空值占比情况；

数据质量动态变化确定子模块，用于将当前的空值占比情况与历史的空值占比情况进行比较，以确定待处理数据的数据质量的动态变化；

其中，所述探查分析模块，还包括：

语义探查子模块，用于根据待处理数据的各个字段的名称和内容，探查各字段的语义；

数据元标准映射子模块，用于将各字段的语义映射到数据元标准上，以实现对所述待处理数据的整理。

5.一种计算机设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的数据探查方法。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的数据探查方法。