[发明专利]一种自动生成数据库表间关联关系的方法、系统、电子设备及程序产品

权利要求书

1.一种自动生成数据库表间关联关系的方法,其特征在于，包括步骤：

S101，梳理所有数据库表名称，作为关联关系分析的对象；

S102，对每张所述数据库表随机抽取设定量样本数据存储在本地服务器；

S103，数据表字段属性识别：

采用数据表字段属性识别算法对数据库表字段属性进行识别判断，识别出的数据类型包括ID型、类别型、排序型、数值型、字符型、日期-时间型；

S104，确定每张表可作为取数的日期维度切片字段；

S105，抽取指定时间周期的切片数据：将所述数据库表的切片数据以某一时周期抽取到本地服务器；

S106，将所述数据库表指定时间周期的切片数据纳入表间连接算法模型，进行数据库表关联关系分析，得出关联关系结果；

S107，根据算法结果，获取数据库表之间的关联关系，根据所述获取到的数据库表的关联关系，生成数据库表关系E-R图。

2.根据权利要求1所述的自动生成数据库表间关联关系的方法,其特征在于，所述S101中，所述数据库表名称来源于要梳理关联关系的数据库，应用python程序自动获取所述数据库表名称，并以数据表名称列表的形式存储到存储装置中供后续步骤调用。

3.根据权利要求1所述的自动生成数据库表间关联关系的方法,其特征在于，S103中，所述数据表字段属性识别算法是基于LightGBM算法开发，具体包括：

(1)对数据表字段属性进行人工标注，形成标签，用于LightGBM模型训练；

(2)对存储至本地服务器的数据进行预处理，包括但不限于删除空值，异常值；

(3)提取设定数量的字段特征，包括：字段是否全为数字，是否为日期型，根据字段维一值占比判断字段是否是ID型或类别型；

(4)将所述字段特征纳入训练好的LightGBM模型，得到数据表字段的属性的分类结果。

4.根据权利要求1所述的自动生成数据库表间关联关系的方法,其特征在于，所述S103中，日期-时间型包括日期型、时间型以及日期+时间型；所有日期-时间型列为日期列。

5.根据权利要求1所述的自动生成数据库表间关联关系的方法,其特征在于，所述S104是，遍历所有数据库表对所述日期-时间型字段进行分析，包括：筛选所有日期-时间型字段；判断日期维度切片字段，若数据库表没有日期-时间型字段，则直接抽取全量数据；若数据库表只有一个日期-时间型字段，则该字段为用于时间维度数据切片的字段；若数据库表有两个及以上日期-时间型字段，则采用日期维度数据切片字段算法找出可作为日期维度数据切片的字段。

6.根据权利要求1所述的自动生成数据库表间关联关系的方法,其特征在于，所述采用日期维度数据切片字段算法找出可作为日期维度数据切片的字段的步骤包括：

①计算每张数据库表的记录行数Total_Rows；

②计算每个日期列的记录行数Date_Rows；

③计算每个日期列的非空值占比，

Not_Null_Percent＝Date_Rows/Total_Rows；

若日期-时间型列非空值占比均小于阈值Y，则占比最大的列名为目标日期列；若日期-时间型列非空值占比大于阈值Y，计算每张数据库表的每一行所有日期列的最小值，并记录最小值所在的日期列名，统计列名出现次数，列名次数最大的为目标日期列。

7.根据权利要求1所述的自动生成数据库表间关联关系的方法,其特征在于，所述S106具体是，通过算法对相似字段属性的字段进行遍历尝试连接，若连接成功率达到某一阈值，则判定字段间有关联关键，记录左右表及关联字段，用于后期关联关系画图。