[发明专利]数据表清理方法、装置及服务器

权利要求书

1.一种数据表清理方法，其特征在于，包括：

获取预设时间段内数据库的指标集，其中所述指标集包含所有数据表的元数据特征参数和所述数据库的关系特征参数，所述关系特征参数包括上游表数量、下游表数量、上游表距今更新天数、下游表归属存储是否生效、存在天数、距今更新天数、表名类别、数据行数、数据表大小、是否存在白名单、归属存储是否生效、日均增长、周均增长、月均增长、日增环比、周增环比以及月增环比中的至少一种，所述元数据特征参数包括用户名、表名、数据库名、生成日期、表更新时间、数据表行数、数据表大小中的至少一种；

将所述指标集输入预设随机森林模型中，获得所述数据库中所有数据表的评估值，其中所述预设随机森林模型是根据所述数据库的存储代码、数据库中所有数据表的元数据信息以及每个数据表的评估值进行训练获得的；

清理所述数据库中评估值最小的数据表，获得清理后的数据库；

所述预设随机森林模型的训练步骤，包括：

获取数据库的存储代码、数据库中所有数据表的元数据信息以及每个数据表的评估值，并将所述数据库的存储代码进行解析获得关系特征信息；

将所述关系特征信息以及所述数据库中所有数据表的元数据信息进行数据处理，获得元数据特征参数和关系特征参数，并将所述元数据特征参数和关系特征参数以及所述每个数据表的评估值作为样本集；

按照预设比例将所述样本集分为训练集和验证集，采用随机森林算法对所述训练集进行建模，获得随机森林模型，并根据所述验证集验证对所述随机森林模型进行验证。

2.根据权利要求1所述的方法，其特征在于，在所述获取预设时间段内数据库的指标集之后，还包括：

根据独热编码对所述指标集进行预处理，将所述指标集中元数据特征参数和关系特征参数中的离散参数变为连续特征参数。

3.根据权利要求1所述的方法，其特征在于，所述将所述数据库的存储代码进行解析获得关系特征信息，包括：

根据图数据库对所述存储代码进行解析，获得所述数据库的数据表关系图谱；

根据所述数据库中所有数据表的受众量、更新量级以及更新频次对所述数据表关系图谱进行评估，获得所述数据库的关系特征信息。

4.一种数据表清理装置，其特征在于，包括：

获取模块，用于获取预设时间段内数据库的指标集，其中所述指标集包含所有数据表的元数据特征参数和所述数据库的关系特征参数，所述关系特征参数包括上游表数量、下游表数量、上游表距今更新天数、下游表归属存储是否生效、存在天数、距今更新天数、表名类别、数据行数、数据表大小、是否存在白名单、归属存储是否生效、日均增长、周均增长、月均增长、日增环比、周增环比以及月增环比中的至少一种，所述元数据特征参数包括用户名、表名、数据库名、生成日期、表更新时间、数据表行数、数据表大小中的至少一种；

输入模块，用于将所述指标集输入预设随机森林模型中，获得所述数据库中所有数据表的评估值，其中所述预设随机森林模型是根据所述数据库的存储代码、数据库中所有数据表的元数据信息以及每个数据表的评估值进行训练获得的，所述预设随机森林模型的训练步骤，具体包括：获取数据库的存储代码、数据库中所有数据表的元数据信息以及每个数据表的评估值，并将所述数据库的存储代码进行解析获得关系特征信息；将所述关系特征信息以及所述数据库中所有数据表的元数据信息进行数据处理，获得元数据特征参数和关系特征参数，并将所述元数据特征参数和关系特征参数以及所述每个数据表的评估值作为样本集；按照预设比例将所述样本集分为训练集和验证集，采用随机森林算法对所述训练集进行建模，获得随机森林模型，并根据所述验证集验证对所述随机森林模型进行验证；

清理模块，用于清理所述数据库中评估值最小的数据表，获得清理后的数据库。

5.根据权利要求4所述的装置，其特征在于，所述数据表清理装置还包括：

预处理模块，用于根据独热编码对所述指标集进行预处理，将所述指标集中元数据特征参数和关系特征参数中的离散参数变为连续特征参数。