[发明专利]确定数据库表中字段相关度的方法和装置

权利要求书

1.一种确定数据库表中字段相关度的方法，其特征在于，包括：

对于数据库表中待分析的任意两个字段，依据每一字段的元素判断该字段所属的字段类型；其中，所述字段类型包括：数值型字段和分类型字段，分类型字段中的元素属于至少两个元素类别；

当所述两个字段之一为数值型字段、另一为分类型字段时，确定分类型字段中属于同一元素类别的元素，并将该元素对应的数值型字段中的元素构成一个分析组；

确定针对各分析组的组间方差和组内方差，根据所述组间方差和所述组内方差获得所述两个字段的相关度指标。

2.根据权利要求1所述的方法，其特征在于，所述依据每一字段的元素判断该字段所属的字段类型，包括：

对于待分析的任一字段，判断该字段中符合预设的第一正则表达式的元素占比是否不小于第一阈值：若是，将该字段确定为数值型字段；其中，第一正则表达式用于匹配浮点数；

如果该字段中符合第一正则表达式的元素占比小于第一阈值，则判断该字段中去重后的元素数量是否大于1并且不大于第二阈值：若是，将该字段确定为分类型字段；其中，第二阈值与该字段中的元素总数相关并且小于该元素总数。

3.根据权利要求1所述的方法，其特征在于，所述依据每一字段的元素判断该字段所属的字段类型，包括：

对于待分析的任一字段，判断该字段中去重后的元素数量是否大于1并且不大于第二阈值：若是，将该字段确定为分类型字段；其中，第二阈值与该字段中的元素总数相关并且小于该元素总数；

如果该字段中去重后的元素数量为1或者大于第二阈值，则判断该字段中符合预设的第二正则表达式的元素占比是否不小于第三阈值：若是，将该字段确定为数值型字段；其中，第二正则表达式用于匹配浮点数和整数。

4.根据权利要求1所述的方法，其特征在于，所述根据所述组间方差和所述组内方差获得所述两个字段的相关度指标，包括：

将所述组间方差除以所述组内方差得到所述两个字段的相关度初始值，将所述相关度初始值的自然对数确定为相关度中间值；

将所述相关度中间值变换到从零到一的数值区间，形成所述两个字段的相关度指标。

5.根据权利要求4所述的方法，其特征在于，所述将所述相关度中间值变换到从零到一的数值区间，形成所述两个字段的相关度指标，包括：

当所述相关度中间值小于零时，将所述相关度指标确定为零；

当所述相关度中间值大于第一数值时，将所述相关度指标确定为一；其中，第一数值为大于一的实数；

当所述相关度中间值不小于零且不大于第一数值时，将所述相关度指标确定为所述相关度中间值与第二数值的乘积；其中，第二数值为第一数值的倒数。

6.根据权利要求4所述的方法，其特征在于，所述方法进一步包括：

当所述数据库表中待分析的任意两个字段都是数值型字段时，将所述两个字段的斯皮尔曼相关系数的绝对值确定为所述两个字段的相关度指标；

当所述数据库表中待分析的任意两个字段都是分类型字段时，将所述两个字段的克莱姆相关系数确定为所述两个字段的相关度指标。

7.根据权利要求6所述的方法，其特征在于，所述方法进一步包括：

在得到所述数据库表中待分析的任意两个字段的相关度指标之后，将该相关度指标输入预设的相关度矩阵；其中，

所述相关度矩阵的行数与列数都等于所述数据库表的待分析字段总数，各行与各列分别对应于以预设顺序排列的所述数据库表中待分析字段的标识，所述相关度矩阵中的任一元素为该元素所在行对应的字段与该元素所在列对应的字段之间的相关度指标，该元素的灰度值与该相关度指标正相关。