[发明专利]数据处理方法以及装置

说明书

本说明书实施例提供数据处理方法以及装置，其中所述数据处理方法包括：接收针对数据文件的标记操作指令，并将标记操作指令关联的标记操作信息存储至操作日志；在操作日志满足日志信息处理条件的情况下，根据所述操作日志中记录的所述标记操作信息更新所述数据文件关联的数据操作表；基于更新后的数据操作表生成对应目标数据节点的数据操作请求，并将所述数据操作请求发送至所述目标数据节点。根据操作日志更新数据操作表，进而根据数据操作表确定目标数据节点，在目标数据节点处执行标记操作，实现了基于标记操作指令对数据文件的协同处理。

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种数据处理方法。

背景技术

随着互联网技术的不断发展，为了实现可靠的海量数据存储，目前多采用分布式存储系统。分布式存储系统广泛采用三副本机制，例如键值对(key-value)分布式存储系统，从而在不同位置分别对数据进行存储以提高数据存储的可靠性。当前的分布式存储系统包括三层架构，底层的分布式文件系统、中层的KV存储引擎、上层的计算引擎层，在这种分布式存储系统的结构下，为了保证数据的可靠性，数据的删除、修改等都采用Append-Only(仅追加)方式进行，于是在多层架构的分布式存储系统中，中间KV类存储引擎层和底部单机存储引擎层均采用上述方式处理数据。在后续进行内存释放时，需要每一层各自进行垃圾回收处理，导致带来更大的写放大，垃圾数据增加，从而影响整体系统性能。

因此，如何降低分布式存储系统进行垃圾回收处理过程中产生的写放大、减少垃圾数据、降低存储成本、提高系统性能是目前亟需解决的问题。

发明内容

有鉴于此，本说明书实施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种数据处理系统，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：

接收针对数据文件的标记操作指令，并将所述标记操作指令关联的标记操作信息存储至操作日志；

在所述操作日志满足日志信息处理条件的情况下，根据所述操作日志中记录的所述标记操作信息更新所述数据文件关联的数据操作表；

基于更新后的数据操作表生成对应目标数据节点的数据操作请求，并将所述数据操作请求发送至所述目标数据节点。

根据本说明书实施例的第二方面，提供了一种数据处理装置，包括：

接收模块，被配置为接收针对数据文件的标记操作指令，并将所述标记操作指令关联的标记操作信息存储至操作日志；

更新模块，被配置为在所述操作日志满足日志信息处理条件的情况下，根据所述操作日志中记录的所述标记操作信息更新所述数据文件关联的数据操作表；

发送模块，被配置为基于更新后的数据操作表生成对应目标数据节点的数据操作请求，并将所述数据操作请求发送至所述目标数据节点。

根据本说明书实施例的第三方面，提供了一种数据处理系统，包括：

服务端，用于接收针对数据文件的标记操作指令，并将所述标记操作指令关联的标记操作信息存储至操作日志；在所述操作日志满足日志信息处理条件的情况下，根据所述操作日志中记录的所述标记操作信息更新所述数据文件关联的数据操作表；基于更新后的数据操作表生成对应目标数据节点的数据操作请求，并将所述数据操作请求发送至所述目标数据节点；

所述目标数据节点，用于基于所述数据操作请求对本地存储空间中的待操作数据区间进行标记，并根据标记结果生成状态更新信息发送至所述服务端；

所述服务端，还用于接收所述操作状态信息，并记录至更新后的数据操作表。

根据本说明书实施例的第四方面，提供了一种计算设备，包括：