[发明专利]Hive数据库中拉链表的更新方法、装置和计算机设备

权利要求书

1.一种Hive数据库中拉链表的更新方法，其特征在于，所述Hive数据库包括拉链表和增量表，所述拉链表设置有多个第一分区表，以及一个有效数据分区表；多个所述第一分区表是按照预设规则建立的具有不同属性的分区，第一分区表内记录关闭拉链的数据；所述有效数据分区表用于记载未处于关闭拉链状态的数据；所述更新方法，包括：

获取当前的增量表，并将所述增量表与所述有效数据分区表进行内关联，以查找到需要关闭拉链的数据；

解析出所述需要关闭拉链的数据的第一属性，将所述需要关闭拉链的数据插入到与所述第一属性对应的第一分区表中；

将所述增量表与所述有效数据分区表中的数据进行全关联，得到更新后的有效数据分区表。

2.根据权利要求1所述的Hive数据库中拉链表的更新方法，其特征在于，所述解析出所述需要关闭拉链的数据的第一属性，将所述需要关闭拉链的数据插入到与所述第一属性对应的第一分区表中的步骤，包括：

解析出所述需要关闭拉链的数据的第一属性；

若存在与所述第一属性对应的第一分区表，则将所述需要关闭拉链的数据插入到与所述第一属性对应的第一分区表中；

若不存在与所述第一属性对应的第一分区表，则根据所述第一属性生成一个与所述第一属性对应的第一分区表，并将所述需要关闭拉链的数据插入到生成的与所述第一属性对应的第一分区表中。

3.根据权利要求1所述的Hive数据库中拉链表的更新方法，其特征在于，所述获取当前的增量表，并将所述增量表与所述有效数据分区表进行内关联，以查找到需要关闭拉链的数据的步骤之前，包括：

获取预设的第二属性，根据所述第二属性建立所述有效数据分区表。

4.根据权利要求1所述的Hive数据库中拉链表的更新方法，其特征在于，所述获取当前的增量表，并将所述增量表与所述有效数据分区表进行内关联，以查找到需要关闭拉链的数据的步骤之前，包括：

获取增量数据，并将所述增量数据进行去重处理；

将去重后的增量数据制成所述增量表。

5.根据权利要求4所述的Hive数据库中拉链表的更新方法，其特征在于，所述获取增量数据，并将所述增量数据进行去重处理的步骤，包括：

获取各所述增量数据的主键；

判断所述主键中是否存在相同的主键；

若存在相同的主键，则判断各相同的主键对应的数据是否存在重复；

若存在重复数据，则只保留一组重复的数据。

6.根据权利要求5所述的Hive数据库中拉链表的更新方法，其特征在于，所述判断各相同的主键对应的数据是否存在重复的步骤，包括：

将各相同的主键对应的数据分别向量化，得到对应的向量矩阵；

计算各向量矩阵之间的相似度；

若任意两向量矩阵的相似度达到预设值，则判定所述任意两向量矩阵对应的数据为重复数据。

7.根据权利要求1所述的Hive数据库中拉链表的更新方法，其特征在于，所述将所述增量表与所述有效数据分区表中的数据进行全关联，得到更新后的有效数据分区表的步骤之后，包括：

定时对所述拉链表进行跑批运算。

8.一种Hive数据库中拉链表的更新装置，其特征在于，所述Hive数据库包括拉链表和增量表，所述拉链表设置有多个第一分区表，以及一个有效数据分区表；多个所述第一分区表是按照预设规则建立的具有不同属性的分区，第一分区表内记录关闭拉链的数据；所述有效数据分区表用于记载未处于关闭拉链状态的数据；所述更新装置，包括：

获取关联单元，用于获取当前的增量表，并将所述增量表与所述有效数据分区表进行内关联，以查找到需要关闭拉链的数据；

解析插入单元，用于解析出所述需要关闭拉链的数据的第一属性，将所述需要关闭拉链的数据插入到与所述第一属性对应的第一分区表中；

关联更新单元，用于将所述增量表与所述有效数据分区表中的数据进行全关联，得到更新后的有效数据分区表。