[发明专利]数据处理方法和装置

说明书

一种数据处理技术，应用于分区管理设备，所述分区管理设备中存储有分区视图，所述分区视图记录有当前分区ID和存储盘地址的对应关系，当前分区总数可以小于终分区总数，使用该技术可以用当前分区对Key‑Value数据进行数据转发，减小了分区视图的复杂度。

技术领域

本申请涉及一种数据处理技术，特别有关于一种数据处理方法和装置。

背景技术

随着社会的发展，需要被存储和管理的数据的规模越来越多，甚至被称为海量数据。用传统的集中存储管理超大规模数据时，难以提供高效的读写操作，难以满足良好的扩展性以及高可用性。

在这种背景下，出现了由多个物理存储节点组成的存储系统，每个存储节点都可以提供存储空间，这种存储方式称为分布式存储。一种分布式存储方式被称为键-值(Key-Value)存储，在Key-Value存储中，被存储的数据(或者数据分片)被称为值(Value)，每个数据拥有一个在整个存储系统范围内唯一的标识，这个标识就是键(Key)，Key和Value一一对应。

Key和Key所对应的Value作为整体称为Key-Value，简称K-V。每一个Key-Value存储在存储系统的一个存储盘中。在分布式哈希表(Distributed hash table，DHT)技术中，对某个具体的Key-Value而言，由哪个存储盘对其进行存储可以由一个映射规则确定。这个映射规则基于对Key进行哈希(hash)运算生成的哈希(Hash)值，每个哈希值属于一个分区，分区和存储盘对应，从而使得每个Key-Value和一个存储盘对应。基于这种方法，如果两个不同的key计算出的hash值相同，那么这两个Key对应的Key-Value存储在同一个存储盘上。分区和存储盘的对应关系被称为分区视图。

在现有技术中，按照DHT技术，根据Key计算出的Hash值，例如落入在[0,2^32-1]的整数区间内，在系统初始化的时候，对这个大范围的整数区间进行分段，每个分段大小相等或近似相等，这样的一个分段就是一个分区(Partition)，每个分区内的哈希值的数量基本一样。在存储盘集群的存储盘数量较少时，每个存储盘拥有过多的分区，导致分区视图过于复杂，在按照分区视图提供的转发数据包时效率低下，具体举例如下。

假设有一个存储盘集群最大支持25,000个存储盘的集群，存储盘数量最大化时每个存储盘大致拥有100个分区，也就是说整个集群一共拥有2,500,000个分区。假设每个分区的信息占用4个比特的存储空间，那么这些分区信息总共会占用10MB的存储空间，分区视图信息大于10MB。

在使用分区视图时，占用了大量的系统资源。

发明内容

本发明提供一种数据处理方法和装置，可以减少处理Key-Value数据时，对系统资源的占用。

第一方面，本发明提供一种数据处理方法，应用于分区管理设备中，所述分区管理设备中存储有分区视图，所述分区视图记录有当前分区ID和存储盘地址的对应关系，该方法包括：获得键-值Key-Value数据中的值Key，根据所述Key计算所述Key-Value数据对应的终分区ID，其中，所述Key-Value数据包括值Value以及与所述Value唯一对应的Key；计算所述终分区ID对应的当前分区ID，其中，每个当前分区ID对应多个终分区ID；查询所述分区视图，获得当前分区ID对应的存储盘地址；以所述存储盘地址作为目的地址生成Key-Value报文，发送所述Key-Value报文给所述存储盘，所述Key-Value报文携带所述Key-Value数据。