[发明专利]数据处理方法、装置及设备

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取待处理数据；

利用多副本技术对所述待处理数据进行处理，生成与所述待处理数据相对应的至少一个副本文件；

生成与所述待处理数据相对应的缓存数据；

对所述缓存数据进行转储操作，生成与所述待处理数据相对应的目标文件。

2.根据权利要求1所述的方法，其特征在于，所述数据处理方法应用于服务器，所述服务器用于以追加写的方式对所述待处理数据进行分析处理。

3.根据权利要求2所述的方法，其特征在于，所述服务器中设置有缓存节点；生成与所述待处理数据相对应的缓存数据，包括：

将所述待处理数据缓存至所述缓存节点，生成与所述待处理数据相对应的缓存数据。

4.根据权利要求1所述的方法，其特征在于，对所述缓存数据进行转储操作，生成与所述待处理数据的目标文件，包括：

对所述缓存数据进行压缩处理，获得压缩后数据；

对所述压缩后数据进行转储操作，生成与所述待处理数据相对应的目标文件。

5.根据权利要求4所述的方法，其特征在于，在对所述缓存数据进行压缩处理之前，所述方法还包括：

获取用于对所述缓存数据进行转储操作的转储条件；

检测所述缓存数据是否满足所述转储条件；

在所述缓存数据满足所述转储条件时，则允许对所述缓存数据进行压缩处理；

在所述缓存数据不满足所述转储条件时，则禁止对所述缓存数据进行压缩处理。

6.根据权利要求5所述的方法，其特征在于，检测所述缓存数据是否满足转储条件，包括：

获取所述缓存数据的数据量大小；

基于所述数据量大小，检测所述缓存数据是否满足转储条件。

7.根据权利要求6所述的方法，其特征在于，基于所述数据量大小，检测所述缓存数据是否满足转储条件，包括：

在所述数据量大小大于预设阈值时，确定所述缓存数据满足所述转储条件；或者，

在所述数据量大小小于或等于预设阈值时，确定所述缓存数据不满足所述转储条件。

8.根据权利要求1-7中任意一项所述的方法，其特征在于，对所述缓存数据进行转储操作，生成与所述待处理数据相对应的目标文件，包括：

利用纠删码技术对所述缓存数据进行在线转储操作，生成与所述待处理数据相对应的纠删码文件。

9.一种数据处理方法，其特征在于，应用于服务器，所述方法还包括：

获取位于服务器中的缓存数据，所述服务器用于以追加写的方式对数据进行分析处理；

利用纠删码技术对所述缓存数据进行转储操作，生成与所述缓存数据相对应的目标文件。

10.根据权利要求9所述的方法，其特征在于，在获取位于服务器中的缓存数据之前，所述方法还包括：

获取客户端发送的待处理数据；

对所述待处理数据进行缓存处理，生成所述缓存数据。

11.根据权利要求10所述的方法，其特征在于，在获取客户端发送的待处理数据之后，所述方法还包括：

利用多副本技术对所述待处理数据进行处理，生成与所述待处理数据相对应的至少一个副本文件。

12.一种数据处理方法，其特征在于，包括：

获取待处理数据；

利用多副本技术对所述待处理数据进行处理，生成与所述待处理数据相对应的至少一个副本文件；

利用纠删码技术对所述待处理数据进行转储操作，生成与所述待处理数据相对应的目标转储文件。