[发明专利]数据湖schema归类方法、装置、设备、介质及产品

权利要求书

1.一种数据湖schema归类方法，其特征在于，包括以下步骤：

创建用于存储表schema的队列，并初始化；

获取至少两个表schema中的所有字段，存储至所述队列中；

使分区schema中的字段依次与所述队列中的至少两个表schema进行字段类型和字段名称判断，获得所述队列中的相同的字段；

使分区schema中的字段依次与所述队列中的至少两个表schema的相同的字段进行距离计算；

确定距离最小时对应的所述队列中的表schema，并使分区schema合并至所述表schema中。

2.根据权利要求1所述的一种数据湖schema归类方法，其特征在于，所述使分区schema中的字段依次与所述队列中的至少两个表schema的相同的字段进行距离计算的步骤包括：

初始化所述队列中存储的字段的值为第一阈值；

当分区schema中的字段与所述队列中的字段相同时，使所述队列中对应的字段的值加第一预设值，并将计算结果更新为字段的值；

当分区schema中的字段与所述队列中的字段不同时，分区schema中的字段相对于队列的表schema中的字段是新增，使分区schema中对应的字段加入所述队列中，且使加入的所述字段的值为第二阈值，所述第二阈值不等于所述第一阈值；

依次累加同一表schema中的字段的值，得到所述表schema的距离值。

3.根据权利要求1所述的一种数据湖schema归类方法，其特征在于，所述使分区schema中对应的字段与所述表schema中对应的字段进行合并的步骤包括：

当分区schema中的字段与所述表schema中的字段相同时，使所述表schema中对应的字段的值加上第二预设值；

当分区schema中的字段与所述表schema中的字段不同时，分区schema中的字段相对于队列的表schema中的字段是新增，使分区schema中对应的字段加入所述表schema中，且使加入的所述字段的值为第三预设值，所述第三预设值不等于表schema中的字段的初始值。

4.根据权利要求3所述的一种数据湖schema归类方法，其特征在于，还包括以下步骤：

保留所述表schema中的所有字段。

5.根据权利要求1所述的一种数据湖schema归类方法，其特征在于，所述使分区schema中的字段依次与所述队列中的至少两个表schema进行字段类型判断的步骤包括：

使分区schema中的字段和任一表schema的字段加入同一个hash表中，判断hash表中的字段是否满足条件；

当字段满足条件时，分区schema中的字段类型与所述队列中的至少两个表schema对应的字段的字段类型相同。

6.根据权利要求1-5任意一项所述的一种数据湖schema归类方法，其特征在于，所述使分区schema中的字段依次与所述队列中的至少两个表schema进行字段类型判断，获得所述队列中的相同的字段的步骤的同时，还包括以下步骤：

当分区schema中的字段类型与所述队列中的字段类型不同时，返回分区schema中的字段与表schema的对应的字段的距离值为正无穷。

7.根据权利要求6所述的一种数据湖schema归类方法，其特征在于，还包括以下步骤：

使距离值为正无穷对应的分区schema中的字段存储至所述队列中。