[发明专利]一种基于数据热度的数据清理方法、装置及存储介质

权利要求书

1.一种基于数据热度的数据清理方法，其特征在于，包括如下步骤：

从目标数据平台中采集数据热度信息；

分别对所述数据热度信息中多个数据类型进行解析，得到各个数据类型热度；

根据预设热度权重对各个所述数据类型热度进行热度评估，得到数据类型热度的评估信息；

根据预设清理策略和所述评估信息确定待删除数据类型，并对所述待删除数据类型对应的数据进行清理处理。

2.根据权利要求1所述的数据清理方法，其特征在于，所述数据热度信息包括数据库日志、元数据访问日志、数据赋权信息和数据关联信息；

所述分别对所述数据热度信息中多个数据类型进行解析，得到各个数据类型热度的过程包括：

通过预设解析数据处理脚本从所述数据库日志中提取数据访问操作关联的表操作语句，并解析所述表操作语句得到表信息，根据所述表信息得到表信息访问次数，根据所述表信息访问次数得到数据访问热度；

通过预设解析数据处理脚本解析所述元数据访问日志得到浏览模型元数据信息，从所述浏览模型元数据信息中得到表元数据访问次数，根据所述表元数据访问次数得到元数据结构查询热度；

通过预设解析数据处理脚本解析所述数据赋权信息，得到表赋权信息，从所述表赋权信息中得到表赋权访问次数，根据所述表赋权访问次数得到数据赋权热度；

通过预设解析数据处理脚本解析所述数据关联信息，得到关联表信息，并通过递归方法利用预设关联脚本从所述关联表信息中解析得到多个源表以及与各个源表关联的目标表，直至源表与目标表不存在关联关系时停止递归，并根据多个已关联的源表和目标表得到关联热度。

3.根据权利要求2所述的数据清理方法，其特征在于，所述根据预设热度权重对各个所述数据类型热度进行热度评估，得到评估信息的过程包括：

根据预设热度权重对各个所述数据类型热度进行排序，得到热度排序信息，根据所述热度排序信息对各个所述数据类型热度进行评分，将各个数据类型及其对应的数据类型热度和评分作为评估信息，其中，所述预设热度权重为数据访问热度占比为35％、关联热度占比为30％、元数据结构查询热度占比为10％、数据赋权热度占比为10％以及活动占比为15％；其中，活动占比为距离当前预设时间段内各数据类型访问次数最高的数据类型的附加权重占比。

4.根据权利要求3所述的数据清理方法，其特征在于，所述预设清理策略包括清理项目数n和清理周期；

所述根据预设清理策略和所述评估信息确定待删除数据类型的过程包括：

在每个清理周期内根据所述清理项目数n和所述评估信息确定评分较低的n个数据类型，作为待删除数据类型。

5.根据权利要求4所述的数据清理方法，其特征在于，所述进行清理处理之前还包括步骤：

将待清理数据类型导出形成文件，将所述文件进行备份处理。

6.一种基于数据热度的数据清理装置，其特征在于，包括：

采集模块，用于从目标数据平台中采集数据热度信息；

解析模块，用于分别对所述数据热度信息中多个数据类型进行解析，得到各个数据类型热度；

评估模块，用于根据预设热度权重对各个所述数据类型热度进行热度评估，得到数据类型热度的评估信息；

清理模块，用于根据预设清理策略和所述评估信息确定待删除数据类型，并对所述待删除数据类型对应的数据进行清理处理。