[发明专利]测试数据表的处理方法、装置、计算机设备和存储介质

说明书

本申请涉及数据处理领域，提供了一种测试数据表的处理方法、装置、计算机设备和存储介质，检测Hadoop的数据库的存储容量占用率，并判断所述存储容量占用率是否达到第一阈值；若达到，则获取所述Hadoop的数据库中的测试数据表的属性；根据所述测试数据表的属性，选择出所述属性满足预设条件的测试数据表作为目标数据表；按照预设方式对所述目标数据表进行处理，以降低所述Hadoop的数据库的存储容量占用率。本申请避免Hadoop的数据库出现测试环境崩溃、报错。

技术领域

本申请涉及计算机数据处理技术领域，特别涉及一种测试数据表的处理方法、装置、计算机设备和存储介质。

背景技术

Hadoop(海杜普)是一种大数据框架，主要用于大数据测试环境。Hadoop使用的数据库是hive库，hive是基于Hadoop的一个数据仓库工具，可以提供完整的sql查询功能，并可以将sql语句转换为MapReduce任务进行运行。Hadoop的数据库的优点是成本低；缺点是，Hadoop的数据库中存储有大量的测试数据表，由于数据库的存储资源有限，当存储不足时，容易造成测试环境崩溃、报错等。

发明内容

本申请的主要目的为提供一种测试数据表的处理方法、装置、计算机设备和存储介质，降低Hadoop的数据库中的存储容量占用率。

为实现上述目的，本申请提供了一种测试数据表的处理方法，包括以下步骤：

检测Hadoop的数据库的存储容量占用率，并判断所述存储容量占用率是否达到第一阈值；

若达到，则获取所述Hadoop的数据库中的测试数据表的属性；

根据所述测试数据表的属性，选择出所述属性满足预设条件的测试数据表作为目标数据表；

按照预设方式对所述目标数据表进行处理，以降低所述Hadoop的数据库的存储容量占用率。

进一步地，所述测试数据表的属性包括所述测试数据表的文件名称，所述根据所述测试数据表的属性，选择出所述属性满足预设条件的测试数据表作为目标数据表的步骤，包括：

根据所述测试数据表的文件名称，选择出所述文件名称中包括预设关键字的测试数据表，作为所述目标数据表；

或者，根据所述测试数据表的文件名称，选择出所述文件名称不符合预设命名规则的测试数据表，作为所述目标数据表。

进一步地，所述测试数据表的属性包括所述测试数据表的使用频率以及被程序依赖的依赖关系，所述根据所述测试数据表的属性，选择出所述属性满足预设条件的测试数据表作为目标数据表的步骤，包括：

根据所述测试数据表的使用频率以及被程序依赖的依赖关系，选择出所述使用频率以及被程序依赖的依赖关系均满足对应条件的所述测试数据表，作为所述目标数据表。

进一步地，所述测试数据表的属性包括所述测试数据表的数据存储量，所述根据所述测试数据表的属性，选择出所述属性满足预设条件的测试数据表作为目标数据表的步骤，包括：

判断所述测试数据表的数据存储量是否达到设定值；

将达到所述设定值的测试数据表作为所述目标数据表。

进一步地，所述按照预设方式对所述目标数据表进行处理的步骤，包括：

对所述目标数据表进行压缩；和/或，对所述目标数据表中的数据内容进行检测，并判断所述数据内容是否满足清理条件，将满足清理条件的所述数据内容进行清理。

进一步地，所述按照预设方式对所述目标数据表进行处理的步骤，包括：

运行预设的清理脚本，对所述目标数据表进行清理；或者，将所述目标数据表从所述Hadoop的数据库中移动至备用数据库中。