[发明专利]Hive表的异常检测方法、装置、电子设备及存储介质

说明书

本申请公开了一种Hive表的异常检测方法、装置、电子设备及存储介质。该方法包括：加载并解析数据建模配置文档，得到对应的正常数据建模指标以及正常分区信息；获取待检测的Hive表的实际数据建模指标以及所述待检测的Hive表的实际分区信息；分别比对所述实际数据建模指标与所述正常数据建模指标是否一致以及所述实际分区信息与所述正常分区信息是否一致，若不一致，则生成对应的异常信息；检测所述Hive表的分区数据是否异常，若异常，则生成对应的异常信息；输出所有所述异常信息。本申请提供的Hive表的异常检测方法实现了对Hive表的异常自动检测，节约了人力成本，提高了检查效率，检查结果准确度高。

技术领域

本申请涉及数据处理技术领域，具体涉及一种Hive表的异常检测方法、装置、电子设备及存储介质。

背景技术

Hive是基于Hadoop的一个数据仓库工具。数据仓库简称数仓，数仓中大部分的表都为分区表，以日期、周、月份作为分区字段，以固定周期增量归集，现有技术中对数据的检查是以人工方式基于经验进行观察实现的。随着数据规模的不断扩大，Hive数仓中的数据表急剧增加，对数据的检查需要增加大量的人力成本，而且检查效率低，检查结果准确度低。

发明内容

本申请的目的是提供一种Hive表的异常检测方法、装置、电子设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本申请实施例的一个方面，提供一种Hive表的异常检测方法，包括：

加载并解析数据建模配置文档，得到对应的正常数据建模指标以及正常分区信息；

获取待检测的Hive表的实际数据建模指标以及所述待检测的Hive表的实际分区信息；

分别比对所述实际数据建模指标与所述正常数据建模指标是否一致以及所述实际分区信息与所述正常分区信息是否一致，若不一致，则生成对应的异常信息；

检测所述Hive表的分区数据是否异常，若异常，则生成对应的异常信息；

输出所有所述异常信息。

在本申请的一些实施例中，所述正常分区信息包括Hive表的正常的全部分区以及各分区的生命周期；解析数据建模配置文档，得到正常分区信息，包括：

使用数据更新频率、数据生命周期和数据起始时间的数据建模规则，解析所述数据建模配置文档得到Hive表的正常的全部分区以及各分区的生命周期。

在本申请的一些实施例中，所述Hive表的实际分区信息与所述正常分区信息不一致，包括：

所述Hive表的分区未创建、所述Hive表的hdfs上的分区目录未创建、所述Hive表的hdfs上的分区数据不存在以及所述Hive表的分区数据已过期却未备份迁移。

在本申请的一些实施例中，所述检测所述Hive表的分区数据是否异常，包括：

使用所述Hive表的hdfs的API获取全部分区的数据大小，根据所述数据大小分析是否存在数据异常的分区。

在本申请的一些实施例中，所述检测所述Hive表的分区数据是否异常，包括：

针对所述Hive表的生命周期内的全部分区，根据分区时间对所述全部分区进行排序；

根据排序得到的序列，取检测时间点之前的第一数目个分区；

从所述第一数目个分区中获取数据量最小值和数据量最大值，计算数据量最小值和数据量最大值的比值，得到数据差异比例；