[发明专利]一种数据处理方法和装置

权利要求书

1.一种数据处理方法，其特征在于，适用于分布式存储系统，所述分布式存储系统包括多个独立集群，每个集群归属于至少一个虚拟组；所述方法包括：

获取待存储数据的所属用户标识；

根据所述待存储数据的所属用户标识，确定存储所述待存储数据的虚拟组；

根据所述待存储数据的虚拟组的存储规则，确定存储所述待存储数据的目标存储集群地址；将所述待存储数据存入所述目标存储集群地址对应的目标存储集群；所述虚拟组的存储规则是基于所述虚拟组内各集群的存储状况确定出各集群存储数据的权重，并根据所述各集群存储数据的权重确定的。

2.如权利要求1所述的方法，其特征在于，所述确定存储所述待存储数据的目标存储集群地址之后，还包括：

获取所述待存储数据的数据标识；

将所述待存储数据的数据标识、所述目标存储集群地址与所述待存储数据的属性信息存储至索引关系中；其中，所述索引关系包含集群字段，所述集群字段用于记录存储所述待存储数据的集群地址；

针对任一所述待存储数据的数据标识，所述索引关系中包含的集群字段对应至少一个存储所述待存储数据的集群地址。

3.如权利要求2所述的方法，其特征在于，所述将所述待存储数据的数据标识、所述目标存储集群地址与所述待存储数据的属性信息存储至索引关系中，包括：

所述索引关系包括多个索引条目；

确定所述索引关系中是否包含第一索引条目，所述第一索引条目中的数据标识为所述待存储数据的数据标识，所述第一索引条目中记录的集群为所述目标存储集群地址；

若存在，则确定存储请求是否为覆盖写；若所述存储请求为非覆盖写，则无需更新所述索引关系；若所述存储请求为覆盖写，则更新所述第一索引条目的属性信息为所述待存储数据的属性信息；

若不存在，则在所述索引关系中增加第二索引条目，所述第二索引条目包括所述待存储数据的数据标识、所述目标存储集群地址与所述待存储数据的属性信息。

4.如权利要求2所述的方法，其特征在于，还包括：

获取待读取数据的数据标识；

从所述索引关系中确定所述待读取数据的数据标识对应的准目标访问集群地址；

若所述准目标访问集群地址为多个，则根据所述准目标访问集群地址对应的所述待读取数据的存储时间顺序确定目标访问集群地址；若所述准目标访问集群为一个，则确定所述准目标访问集群地址为所述目标访问集群地址；

从所述目标访问集群地址对应的目标访问集群中读取所述待读取数据。

5.如权利要求4所述的方法，其特征在于，若所述索引关系存在异常，则确定所述待读取数据的访问地址；

根据所述待读取数据的访问地址，确定所述待读取数据的所属用户标识；

根据所述待读取数据的所属用户标识，确定所述待读取数据所在的虚拟组；

从所述待读取数据所在的虚拟组中查询所述待读取数据。

6.如权利要求1所述的方法，其特征在于，通过以下方式配置各虚拟组的存储规则：

针对每个虚拟组，根据所述虚拟组内各集群的资源信息确定各集群存储数据的权重；根据所述各集群存储数据的权重确定所述虚拟组的存储规则；其中，集群存储数据的权重小于等于权重阈值时，禁止在该集群内存储非覆盖写的待存储数据。

7.如权利要求6所述的方法，其特征在于，还包括：监控所述虚拟组内每个集群是否发生故障；

若发生故障，则将所述集群存储数据的权重调整成故障状态对应的权重，并禁止对所述集群中数据的读取和写入。

8.如权利要求1至7任一项所述的方法，其特征在于，所述各集群内的物理节点的数量在预设数量范围内。