[发明专利]数据处理方法和系统及装置

权利要求书

1.一种数据管理方法，其特征在于，包括：

对预定大小的数据块进行编码，生成与所述数据块对应的纠错数据块，其中，所述数据块包括数据对象，其中所述数据对象包括关键字，值，以及元数据，所述数据对象的大小小于阈值；

生成数据块索引以及数据对象索引，所述数据块索引用于索引所述数据块及与所述数据块对应的纠错数据块，所述数据对象索引用于在所述数据块中索引所述数据对象，其中，每个数据对象索引用于索引唯一一个数据对象。

2.根据权利要求1的数据管理方法，其特征在于：在所述对预定大小的数据块进行编码，生成与所述数据块对应的纠错数据块，之前，所述方法还包括：

将所述数据对象存储在所述预定大小的数据块中，其中，所述预定大小的数据块位于第一存储设备中；

在所述对预定大小的数据块进行编码，生成与所述数据块对应的纠错数据块，之后，所述方法还包括：

将所述的纠错数据存储在第二存储设备中，所述第一存储设备与第二存储设备位于分布式存储系统中的不同位置。

3.根据权利要求2所述的数据管理方法，其特征在于：所述的数据块索引包括：条带列表ID，条带ID，以及位置信息，所述的条带列表ID用于唯一确定所述分布式存储系统中多个存储设备分组中的一个存储设备分组，其中所述的存储设备分组包括多个第一设备及多个第二设备；所述条带ID用于确定在所述条带列表ID所指示的存储设备分组中存储所述数据块以及与所述数据块对应的纠错数据块的操作序号；所述位置信息用于确定所述数据块在所述条带列表ID所确定的存储设备分组中哪一个第一存储设备中，以及所述纠错数据块在所述条带列表ID所确定的存储设备分组中哪一个第二存储设备中。

4.根据权利要求3所述的数据管理方法，其特征在于：所述生成数据块索引以及数据对象索引，具体包括：

在所述第一存储设备中生成数据块索引以及数据对象索引；以及

在所述第二存储设备中生成所述数据块索引以及所述数据对象索引。

5.根据权利要求2至4任意一项所述的数据管理方法，其特征在于：在将所述数据对象存储在所述预定大小的数据块中，其中，所述预定大小的数据块位于第一存储设备中，之前，所述方法还包括：

选择一个第一存储设备，以及一个或者多个第二存储设备；

将所述数据对象分别发送给所述第一存储设备，以及所述第二存储设备。

6.根据权利要求5所述的数据管理方法，其特征在于：所述第一存储设备将所述数据对象存储在所述数据块内，当所述数据块内的数据对象的大小接近或者等于所述数据块的存储限值时，停止向所述数据块写入新数据对象，并将所述数据块内的所存储的所有的数据对象的Key值发送给所述第二存储设备；

所述第二存储设备接收所述第一存储设备发送的所述数据块内的所有数据对象的Key值，并根据所述数据对象的Key值在所述第二存储设备内重建所述数据块，对重建的所述数据块进行所述的编码。

7.根据权利要求5所述的数据管理方法，其特征在于：当所述数据块内包含多个数据对象时，所述方法还包括：判断待存储的数据对象是否小于所述阈值，并将小于所述阈值的所述待存储的数据对象作为可存储在所述数据块内的数据对象进行所述的存储以及编码。

8.根据权利要求7所述的数据管理方法，其特征在于：所述方法还包括，以预定的时间间隔根据所述待存储的数据对象的平均大小，动态调整所述阈值。

9.根据权利要求5所述的数据管理方法，其特征在于：所述分布式存储系统包括多个备选存储设备，对应的所述方法还包括：根据所述多个备选存储设备的负载情况，将负载最小的一个或者多个备选存储设备作为所述的一个或者多个第二存储设备。