[发明专利]端到端的数据探查方法、装置、计算机设备和存储介质

说明书

本申请涉及一种端到端的数据探查方法、装置、计算机设备和存储介质，该方法容器化部署于计算机设备，包括：基于数据探查指令获取采样数据；确定所述采样数据对应的探查配置信息，所述探查配置信息包括多个数据探查维度；基于多个所述数据探查维度对所述采样数据进行多维度探查分析，得到多维度探查指标；所述多维度探查指标包括：数据量指标、表复杂度指标、表质量指标和表价值指标；根据预设模板将所述多维度探查指标进行可视化显示。通过本申请，能够从多个维度表征业务数据，充分反映业务数据的特点，从而为下一环节的数据评估和利用提供有效的支撑。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种端到端的数据探查方法、装置、计算机设备和存储介质。

背景技术

数据探查是通过对数据集的查询和分析来达到了解数据特征和数据质量的目的，数据探查是数据治理领域的一个重要环节，可以给数据治理的后续步骤提供有力支撑。数据探查能更多、更好地了解数据，发现源数据情况和问题，从而为下一环节的数据评估和利用提供有效的支撑。

现有的数据探查方法主要针对数据整体或表面特征进行探查，通过编写统计代码或者配置规则的方式实现，无法充分反应数据各个维度的指标信息，对数据的分析不够全面，不能够充分理解数据，难以准确反应数据特征。此外，数据探查方法在实际应用时，需要修改配置参数进行适配运行环境，对现场异种环境的系统依赖性大。

发明内容

本申请实施例提供了一种端到端的数据探查方法、装置、计算机设备和存储介质，以至少解决相关技术中数据分析不全面的问题。

第一方面，本申请实施例提供了一种端到端的数据探查方法，所述端到端的数据探查方法容器化部署于计算机设备，包括以下步骤：

基于数据探查指令获取采样数据；

确定所述采样数据对应的探查配置信息，所述探查配置信息包括多个数据探查维度；

基于多个所述数据探查维度对所述采样数据进行多维度探查分析，得到多维度探查指标；所述多维度探查指标包括：数据量指标、表复杂度指标、表质量指标和表价值指标；

根据预设模板将所述多维度探查指标进行可视化显示。

在其中一些实施例中，所述数据探查指令包括：

数据源连接配置、数据预览和数据分析。

在其中一些实施例中，所述数据探查维度包括：数据量维度、表复杂度维度、表质量维度和表价值维度，则

所述数据量指标包括：表记录数和表字段数；

所述表复杂度指标包括：表主题域和表关联关系；

所述表质量指标包括：表要素异常率、码值完整性和业务字段完整性；

所述表价值指标包括：实时性、数据轨迹和数据关联。

在其中一些实施例中，通过以下步骤进行表主题域划分或表要素异常率识别分析：

获取所述采样数据对应的数据表；

将所述数据表中的元数据与标准值进行规则匹配，得到匹配结果；

根据所述匹配结果统计匹配率，以根据所述匹配率进行表主题域划分或表要素异常率识别。

在其中一些实施例中，通过以下步骤进行表主题域划分或表要素异常率识别分析：

获取所述采样数据对应的数据表；

获取所述数据表中的元数据的隐语义信息，以根据所述隐语义信息进行表主题域划分或表要素异常率识别。

在其中一些实施例中，获取所述数据表中的元数据的隐语义信息，以根据所述隐语义信息进行表主题域划分或表要素异常率识别包括：