[发明专利]数据处理方法、装置、计算机设备、存储介质和程序产品

说明书

本申请涉及一种数据处理方法，所述方法包括：接收控制端发送的当前次的数据备份指令，其中，所述数据备份指令包括待备份数据集的第一数据集标识；响应于所述数据备份指令，获取所述第一数据集标识对应的第一元数据，根据所述第一元数据为所述第一数据集标识对应的各数据文件的目录建立当前次的快照信息，根据所述当前次的快照信息确定待备份的目标数据文件，并将所述目标数据文件写入至备份集存储池中。采用本方法能够最快的记录下来所要备份或恢复文件的当下状态，提高了备份或恢复数据文件的准确性，同时把热备份过程中对HDFS读写锁的竞争降到最低程度，从而减少了对线上业务的影响。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据处理方法、装置、计算机设备、存储介质和程序产品。

背景技术

Hive是基于分布式计算(Hadoop)构建的一套数据仓库分析系统，它提供了丰富的结构化查询语言(Structured Query Language，SQL)查询方式来分析存储在Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)中的数据。数据备份是容灾的基础，随着数据仓库的日益广泛应用及其数据的海量增加，对Hive的数据备份的完整性和时效性要求也越来越高。

目前对HDFS文件进行直接复制备份，然而，由于在备份过程中Hive底层的HDFS文件会不断发生变更，而且拷贝底层HDFS文件的过程中也会引起读写竞争，影响线上业务。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低读写竞争的数据处理方法、装置、计算机设备、存储介质和程序产品。

第一方面，本申请提供了一种数据处理方法。所述方法包括：

接收控制端发送的当前次的数据备份指令，其中，数据备份指令包括待备份数据集的第一数据集标识；

响应于上述数据备份指令，获取第一数据集标识对应的第一元数据；

根据第一元数据为第一数据集标识对应的各数据文件的目录建立当前次的快照信息；

根据当前次的快照信息确定待备份的目标数据文件，并将目标数据文件写入至备份集存储池中。

在其中一个实施例中，根据第一元数据为第一数据集标识对应的各数据文件的目录建立当前次的快照信息，包括：

根据第一元数据中的待备份数据集的路径信息，获取第一数据集标识对应的各数据文件的目录，并为目录建立当前次的快照信息。

在其中一个实施例中，若数据备份指令为全量备份指令，则根据当前次的快照信息确定待备份的目标数据文件，并将目标数据文件写入至备份集存储池中，包括：

根据当前次的快照信息，获取第一数据集标识当前次对应的各数据文件。

将第一数据集标识当前次对应的各数据文件作为目标数据文件，并将目标数据文件写入至备份集存储池中，以对目标数据文件进行全量备份。

在其中一个实施例中，若数据备份指令为增量数据备份指令，则根据当前次的快照信息确定待备份的目标数据文件，并将目标数据文件写入至备份集存储池中，包括：

根据当前次的快照信息与上一次的快照信息确定目标数据文件，并将目标数据文件写入至备份集存储池中。

其中，上一次的快照信息为当前次的前一次对第一数据集标识对应的各数据文件进行全量备份所对应的快照信息。

在其中一个实施例中，根据当前次的快照信息与上一次的快照信息确定目标数据文件，并将目标数据文件写入至备份集存储池中，包括：

将当前次的快照信息与上一次的快照信息进行比对，得到第一数据集标识的当前次对应的各数据文件与上一次对应的各数据文件之间的差异文件。