[发明专利]确定数据库表中字段相关度的方法和装置

说明书

本发明公开了一种确定数据库表中字段相关度的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：对于数据库表中待分析的任意两个字段，依据每一字段的元素判断该字段所属的字段类型；字段类型包括：数值型字段和分类型字段，分类型字段中的元素属于至少两个元素类别；当两个字段之一为数值型字段、另一为分类型字段时，确定分类型字段中属于同一元素类别的元素，并将该元素对应的数值型字段中的元素构成一个分析组；确定针对各分析组的组间方差和组内方差，根据组间方差和组内方差获得两个字段的相关度指标。该实施方式能够针对任意数据库表中的数值型字段与分类型字段定量计算相关度，有助于实现不同类型字段相关度的统一分析。

技术领域

本发明涉及计算机技术领域，尤其涉及一种确定数据库表中字段相关度的方法和装置。

背景技术

在多种场景中都存在确定数据库表中不同字段相关度的必要。例如，在数据分析场景中，数据提供方与数据需求方往往信息不对称，加之数据库表本身存在一定的复杂性，因此存在数据需求不明确、数据频繁修正等问题，此时需要分析数据库表中不同字段之间的相关度，从而为数据需求方提供有价值的参考，显著地提高工作效率。现有技术中，可以根据待分析的字段类型是数值型字段还是分类型字段采用皮尔逊相关系数等方法计算相关度。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：第一，当面对大量类型未知的待分析字段时，现有技术无法快速准确识别字段类型。第二，在计算数值型字段与某些分类型字段(例如性别)的相关度时，现有技术只能定性描述相关程度，这无法满足某些应用环境下的需求。第三，现有技术中缺少统一标准来实现各种情况下数据库表字段的相关度分析。

发明内容

有鉴于此，本发明实施例提供一种确定数据库表中字段相关度的方法和装置，能够针对任意数据库表中的数值型字段与分类型字段定量计算相关度，有助于实现不同类型字段相关度的统一分析。

为实现上述目的，根据本发明的一个方面，提供了一种确定数据库表中字段相关度的方法。

本发明实施例的确定数据库表中字段相关度的方法包括：对于数据库表中待分析的任意两个字段，依据每一字段的元素判断该字段所属的字段类型；其中，所述字段类型包括：数值型字段和分类型字段，分类型字段中的元素属于至少两个元素类别；当所述两个字段之一为数值型字段、另一为分类型字段时，确定分类型字段中属于同一元素类别的元素，并将该元素对应的数值型字段中的元素构成一个分析组；确定针对各分析组的组间方差和组内方差，根据所述组间方差和所述组内方差获得所述两个字段的相关度指标。

可选地，所述依据每一字段的元素判断该字段所属的字段类型，包括：对于待分析的任一字段，判断该字段中符合预设的第一正则表达式的元素占比是否不小于第一阈值：若是，将该字段确定为数值型字段；其中，第一正则表达式用于匹配浮点数；如果该字段中符合第一正则表达式的元素占比小于第一阈值，则判断该字段中去重后的元素数量是否大于1并且不大于第二阈值：若是，将该字段确定为分类型字段；其中，第二阈值与该字段中的元素总数相关并且小于该元素总数。

可选地，所述依据每一字段的元素判断该字段所属的字段类型，包括：对于待分析的任一字段，判断该字段中去重后的元素数量是否大于1并且不大于第二阈值：若是，将该字段确定为分类型字段；其中，第二阈值与该字段中的元素总数相关并且小于该元素总数；如果该字段中去重后的元素数量为1或者大于第二阈值，则判断该字段中符合预设的第二正则表达式的元素占比是否不小于第三阈值：若是，将该字段确定为数值型字段；其中，第二正则表达式用于匹配浮点数和整数。

可选地，所述根据所述组间方差和所述组内方差获得所述两个字段的相关度指标，包括：将所述组间方差除以所述组内方差得到所述两个字段的相关度初始值，将所述相关度初始值的自然对数确定为相关度中间值；将所述相关度中间值变换到从零到一的数值区间，形成所述两个字段的相关度指标。