[发明专利]集群存储资源定时清理方法、装置及存储介质

说明书

本申请涉及一种集群存储资源定时清理方法、装置及存储介质，所述方法包括：电子设备扫描设定时间区间内提交的集群的操作语句，对所有操作语句中所使用的表的抬头以及目标表的抬头识别，确定特定开头的表；电子设备对该特定开头的表以及预设格式的子目录进行整合得到多级分区的表格以及多级分区的子目录；电子设备将多级分区的表格以及多级分区的子目录按存储量倒序排列，按该倒序排列的顺序对表格以及子目录执行清理操作。本申请提供的技术方案对集群存储资源定时的清理，进而减少历史数据的存储量，具有成本低的优点。

技术领域

本申请涉及大数据技术领域，具体涉及一种集群存储资源定时清理方法、装置及存储介质。

背景技术

现在已经有越来越多的行业和技术领域需求大数据分析系统，例如金融行业需要使用大数据系统结合VaR(value at risk，风险价值)或者机器学习方案进行信贷风控，零售、餐饮行业需要大数据系统实现辅助销售决策，各种应用场景需要大数据系统持续聚合和分析时序数据，各大科技公司需要建立大数据分析中台等等。抽象来看，支撑这些场景需求的分析系统，面临大致相同的技术挑战，业务分析的数据范围横跨实时数据和历史数据，既需要低延迟的实时数据分析，也需要对大量的历史数据进行探索性的数据分析。可靠性和可扩展性问题，用户可能会存储海量的历史数据，同时数据规模有持续增长的趋势，因此现有的数据资源的存储量大，大大的提高了成本。

发明内容

本申请实施例提供了一种集群存储资源定时清理方法、装置及存储介质，能够对集群存储资源定时的清理，进而减少历史数据的存储量，降低数据存储成本。

第一方面，提供一种集群存储资源定时清理方法，应用于电子设备，所述方法包括：

电子设备扫描设定时间区间内提交的集群的操作语句，对所有操作语句中所使用的表的抬头以及目标表的抬头识别，确定特定开头的表；

电子设备对该特定开头的表以及预设格式的子目录进行整合得到多级分区的表格以及多级分区的子目录；

电子设备将多级分区的表格以及多级分区的子目录按存储量倒序排列，按该倒序排列的顺序对表格以及子目录执行清理操作

第二方面，提供一种电子设备，所述电子设备包括：

扫描识别单元，用于扫描设定时间区间内提交的集群的操作语句，对所有操作语句中所使用的表的抬头以及目标表的抬头识别，确定特定开头的表；

处理单元，用于对该特定开头的表以及预设格式的子目录进行整合得到多级分区的表格以及多级分区的子目录；将多级分区的表格以及多级分区的子目录按存储量倒序排列，按该倒序排列的顺序对表格以及子目录执行清理操作

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例，具备如下有益效果：

可以看出，本申请提供的技术方案通过对集群的操作语句进行定期的执行清理操作，进而减少冗余数据，减少了数据存储的成本，因此其具有降低成本的优点。

附图说明