[发明专利]数据生命周期管理方法、装置、介质及电子设备

说明书

本发明的实施方式提供了一种数据生命周期管理方法、装置、介质及电子设备，涉及数据存储技术领域。该方法包括：从集群数据库获取待处理元数据，并确定待处理元数据的生命周期状态；从待处理元数据中确定处于目标生命状态的初始待删除元数据；对初始待删除元数据进行封装处理以生成初始逻辑删除任务，并对初始逻辑删除任务进行逻辑删除处理；将经过逻辑删除处理的初始逻辑删除任务确定为逻辑删除任务，并根据逻辑删除任务生成物理删除任务；获取分布式文件存储系统的状态参数，并根据状态参数对物理删除任务进行物理删除处理。本发明通过隔离化，异步化，细粒度化和自适应化的方式，提供了一种Hive生命周期治理的实现方案。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

Apache Hive作为一款基于Hadoop的数据仓库工具，其最大的魅力在于可以将位于Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)的结构化数据映射成为一张表，然后提供类结构化查询语言(Structured Query Language，SQL)的语法让用户使用来开展对数据的分析，在大数据领域有着极其广泛的应用。

随着业务规模的不断增长，存储的数据越来越多，由于Hive自身没有生命周期治理功能，造成大量无效数据残留在HDFS上，造成了资源的额极大浪费。目前，一种常见的Hive生命周期治理方案是通过改造Hive元数据服务(Hive MetaStore)，利用Hive原生的表、分区删除功能来实现，即主要利用Hive自身的删除功能实现生命周期治理。

发明内容

但是，采用现有的Hive自身的删除功能实现生命周期治理的方案存在以下问题：(1)原生Hive没有生命周期治理功能，造成存储资源的浪费及HDFS名称节点(HDFSNameNode)的负担；(2)容易导致HDFS集群抖动，甚至宕机；(3)无法控制数据删除流程，在发生数据误删时，不能很好地对数据进行恢复；(4)现有实现方案直接修改MetaStore，容易影响MetaStore，不利于与社区版本长期兼容发展。

由此，在现有技术中，缺乏一种有效的Hive存储数据的生命周期治理方法。

为此，非常需要一种改进的数据生命周期管理方法，以避免存储资源浪费，并减轻名称节点的负担；同时解决现有Hive生命周期管理实现方案可能引发HDFS集群抖动甚至宕机的风险；并且在发生数据误删操作时可以方便地对误删数据进行恢复。

在本上下文中，本发明的实施方式期望提供一种数据生命周期管理方法、数据生命周期管理装置、计算机可读存储介质及电子设备。

在本发明实施方式的第一方面中，提供了一种数据生命周期管理方法，应用于生命周期管理服务器，包括：从集群数据库获取待处理元数据，并确定待处理元数据的生命周期状态；其中，待处理元数据基于初始元数据生成；从待处理元数据中确定生命周期状态处于目标生命状态的初始待删除元数据；对初始待删除元数据进行封装处理以生成初始逻辑删除任务，并对初始逻辑删除任务进行逻辑删除处理；将经过逻辑删除处理的初始逻辑删除任务确定为逻辑删除任务，并根据逻辑删除任务生成物理删除任务；获取分布式文件存储系统的状态参数，并根据状态参数对物理删除任务进行物理删除处理。

在本发明的一个实施例中，在从集群数据库获取待处理元数据之前，上述方法还包括：向元数据服务器发送元数据描述信息获取请求；接收并解析元数据服务器发送的初始元数据的元数据描述信息，并根据元数据描述信息重建初始元数据以生成待处理元数据；将与待处理元数据对应的目录统计信息确定为第一目录信息，并将待处理元数据和第一目录信息存储于集群数据库。

在本发明的一个实施例中，在将待处理元数据和第一目录信息存储于集群数据库之后，上述方法还包括：每隔第一预设时间从元数据服务器获取数据操作日志；根据数据操作日志确定数据操作记录；其中，数据操作记录包括与待处理元数据对应的存储数据相关的数据操作；根据数据操作记录更新集群数据库中的待处理元数据。