[发明专利]数据处理方法及装置

说明书

技术领域

本发明涉及存储系统技术领域，尤其涉及一种数据处理方法及装置。

背景技术

云存储，与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。

云存储采用分布式哈希表(Distributed Hash Table，DHT)技术组成分布式文件系统（即分布式存储集群，以下简称集群），每个存储节点按照一致性哈希（hash）算法被分配了独立的多个分区（Partition）。由于云存储采用廉价低可靠硬件组成大规模存储池，存储硬件故障呈常态；同时为满足资源的弹性供给，经常出现存储节点动态加入或离开集群。当节点出现故障或进行动态扩容、缩容时，Partition序列会在节点上重新分布，节点上管理的Partition范围会发生变化，进行重新负载均衡（rebalance）的迁移操作，有些Partition需要迁移到别的节点，故障节点承担的Partition将由其他节点承担，新增节点承担一部分由其他节点承担的Partition，从而保证各存储节点之间的负载均衡。

现有的数据存储形式通常采用开源软件Tokyo Cabinet HDB/BDB/FDB（哈希数据库/多路径树数据库/固定长度记录数据库）的组织形式。存储节点存储的数据包括一系列的key-value（键-值）对，在存储节点的存储桶阵列（Bucket Array）中依次存放key-value链表，对应于顺序的存储桶标识bucket ID，而key-value对在存储节点的存储介质（如硬盘等）上的存储地址是分散的。也就是说，对于不同bucket ID对应的Key-value和同一个BucketID对应的不同Key-value交织存储于硬盘上。

因而，存储节点在迁移数据时，需要进行全盘扫描，每扫描一个key-value,根据扫描到的value中存储的partition信息，与指定的需要迁移的partition进行比对，如相同则进行迁移。这样的方式对硬盘的读写浪费非常严重，真正需要迁移的Partition可能不到全盘容量的5%，但却要对硬盘进行全盘扫描。而且，在数据迁移时，仅能串行key-value匹配并发送迁移动作，硬盘I/O次数过多，效率低下。

发明内容

有鉴于此，本发明的目的是提供一种数据处理方法及装置，不需要对硬盘进行全盘扫描，减少Partition迁移时对硬盘读操作的次数，提高数据读取效率，在数据迁移时可以并发发送key-value，提高节点间带宽的利用率，提高数据读取性能。

为实现上述目的，本发明实施例第一方面提供了一种数据处理方法，所述方法包括：

获取待存储数据和所述待存储数据的数据标识；

根据所述数据标识计算得到所述待存储数据将要存储的第一分区，并获得所述第一分区所属的第一节点；

将所述待存储数据的所述数据标识和所述待储存数据分别存储于所述第一节点，并记录数据存储地址；

将所述待存储数据的数据标识、所在的第一分区标识和数据存储地址生成索引信息，并将该索引信息添加到所述第一节点的索引区中。

结合第一方面，在第一方面的第一种可能的实现方式中，所述索引区包括至少一个子索引区，根据对所述生成的索引信息中的所述数据标识进行哈希计算的结果或者根据数据标识的大小顺序确定所述生成的索引信息将要存放的子索引区，将所述生成的索引信息存放于所述确定的所述子索引区中。

结合第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，将所述待存储数据的数据标识、所在的第一分区标识和数据存储地址生成索引信息，并将该索引信息添加到所述第一节点的索引区中，包括：

将所述生成的索引信息中的数据标识与所述第一节点的索引区中已有索引信息的数据标识进行比较，按照预先设定的排列顺序,确定所述生成的索引信息中的数据标识在所述已有索引信息中的存储位置，将所述生成的索引信息添加到所述存储位置。

结合第一方面或第一方面的第一种可能的实现方式，在第三种可能的实现方式中，在获得所述第一分区所属的第一节点之后，还包括：