[发明专利]数据处理方法、装置及计算设备

说明书

本申请实施例提供一种数据处理方法、装置及计算设备。其中，针对一次追加写请求中的追加数据，查找缓存的最小数据单元；将所述追加数据中的至少部分数据顺序写入所述缓存的最小数据单元以获得第一待存储的最小数据单元，以及将所述追加数据中的未写入数据写入至少一个最小数据单元以获得至少一个第二待存储的最小数据单元；将所述第一待存储的最小数据单元覆盖写入存储设备，以及将所述至少一个第二待存储的最小数据单元顺序写入所述存储设备；缓存所述追加数据对应的未写满的最小数据单元。本申请实施例提供的技术方案保证了数据完整性，提高操作便捷性以及写操作效率。

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置及计算设备。

背景技术

追加写是存储系统中一种常见的数据写入方式，是指在已写入的数据的基础上追加新写入的数据。在很多应用场景均可以采用追加写的方式执行写操作，例如如果待写入的数据文件很大时，通常通过多次写操作才能完成一个数据文件写入磁盘中，此时即可以采用追加写的方式执行写操作。

为了保证采用追加写的方式执行写操作时，写入数据的完整性，现有技术中的一种数据写入方式是，每次将追加数据写入磁盘中的一个新位置，并建立数据与其存储位置的索引关系，以根据索引关系定位到数据。

但是，现有技术的这种方式需要额外建立并维护一份索引关系，操作不够便捷，效率较低。

发明内容

本申请实施例提供一种数据处理方法、装置及计算设备，用以解决现有技术中操作不便捷、效率低的技术问题。

第一方面，本申请实施例中提供了一种数据处理方法，包括：

针对一次追加写请求中的追加数据，查找缓存的最小数据单元；

将所述追加数据中的至少部分数据顺序写入所述缓存的最小数据单元以获得第一待存储的最小数据单元，以及将所述追加数据中的未写入数据写入至少一个最小数据单元以获得至少一个第二待存储的最小数据单元；

将所述第一待存储的最小数据单元覆盖写入存储设备，以及将所述至少一个第二待存储的最小数据单元顺序写入所述存储设备；

缓存所述追加数据对应的未写满的最小数据单元。

第二方面，本申请实施例中提供了一种数据处理方法，包括：

接收读数据请求；

基于最小数据单元的第一固定长度，计算所述读数据请求对应的至少一个目标最小数据单元；

从存储设备中，读取并拼接所述至少一个目标最小数据单元中的有效数据；

其中，每一个最小数据单元中写入的有效数据至少包括一次追加写请求中的至少部分追加数据或者一次追加写请求中的至少部分追加数据以及下一次追加写请求中的至少部分追加数据。

第三方面，本申请实施例中提供了一种数据处理方法，包括：

检测数据恢复指令；

基于最小数据单元的元数据描述区的倒数第二次写操作之后的有效数据长度、最后一次写操作之后的有效数据长度、以及最后一次写入的数据与下一个最小数据单元中的至少部分数据是否属于同一个追加写请求，恢复数据文件的数据恢复长度至任一追加写请求的数据结束位置以保持原子性；

其中，所述最小数据单元包括数据存储区以及位于所述数据存储区尾部的元数据描述区；所述数据存储区用于存储有效数据；所述元数据描述区用于存储所述有效数据的元数据；所述有效数据至少包括一次追加写请求中的至少部分追加数据或者一次追加写请求中的至少部分追加数据以及下一次追加写请求中的至少部分追加数据。

第四方面，本申请实施例中提供了一种数据处理装置，包括：