[发明专利]一种云存储系统中提升性能的数据处理方法

权利要求书

1.一种云存储系统中提升性能的数据处理方法，包括元数据管理系统、在线数据存储系统、近线数据存储系统、离线数据存储系统以及客户端，其特征在于：

所述元数据管理系统与客户端之间只进行控制信号的传输，不进行存储数据流的传输；

客户端与在线数据存储系统之间进行存储数据流传输；

其中，在线数据存储系统效率高，成本也高，用来存放系统访问频繁的活跃数据；

近线数据存储系统效率中等，成本中等，主要存放一些活跃差，有访问要求但非热点数据；

离线数据存储系统成本低，访问效率低，主要用来系统归档和备份，存放不活跃的非热点数据。

2.根据权利要求1所述的一种云存储系统中提升性能的数据处理方法，其特征在于：数据传输时，大于阈值的数据文件均匀分割为各个数据块，分布式存储在每个在线数据存储系统上，通过数据管理系统的控制，保证单个数据文件读写并发进行。

3.根据权利要求1所述的一种云存储系统中提升性能的数据处理方法，其特征在于：系统由元数据管理系统自动跟踪数据的访问频率，数据在在线数据存储系统、近线数据存储系统和离线数据存储系统中自动流动，流动的同时会将上一级的备份删除，并在元数据管理系统中进行索引的备份，以保证资源的利用率和访问的有效性。

4.根据权利要求1，2或3所述的一种云存储系统中提升性能的数据处理方法，其特征在于：客户端写数据时，数据被分成各个规范的数据块，且每个写数据块根据以下步骤进行操作，最终做到并发写入，缩短整体写入时间，提升性能目的：

客户端向元数据管理系统发起数据写请求；

元数据管理系统根据其管理的在线数据存储系统的工作和使用情况，根据负载均衡的方法，计算出可以存放数据的目的在线数据存储系统，在目的在线数据存储系统上创建新的数据块；

目的在线数据存储系统的数据块创建成功，将结果返回给元数据管理系统；

元数据管理系统备份并同步此数据信息，并将目的在线存储系统的相关信息返回给客户端；

客户端根据得到的目的在线数据存储系统相关信息，向对应目的存储节点发出数据写请求，并向目的在线存储系统发送数据；

目的在线存储节点接收到数据并将之存储到对应数据块，同时也向其他在线数据存储系统进行备份；

当本地数据写入并备份完成后，目的在线数据存储系统将完成信息返回给客户端；

客户端收到完成信息后，完成数据的写入。

5.根据权利要求1，2或3所述的一种云存储系统中提升性能的数据处理方法，其特征在于：数据写入时，先暂存在当前的在线数据存储系统中，若访问频率高，则位置不会变动，若后续该数据访问频率变低，该数据会在元数据管理系统的指挥下，自行迁移到近线数据存储系统中，乃至最后迁移到离线数据存储系统中。

6.根据权利要求1，2或3所述的一种云存储系统中提升性能的数据处理方法，其特征在于：客户端读数据时，读取内容由多个读数据块组成，每个读数据块根据以下步骤进行操作，并行的从数据存储系统中读数据块：

客户端根据读数据文件时，将请求提交给元数据服务系统，发起数据读请求；

元数据管理系统查询索引列表，返回该数据所在的数据存储系统的列表，每个数据存储系统列表包括每个数据存储系统的地址和序号；

客户端向读写请求数最少的数据存储系统发送读数据请求；

数据存储系统从本地文件系统读出数据块，并返回数据块给客户端。

7.根据权利要求1，2或3所述的一种云存储系统中提升性能的数据处理方法，其特征在于：数据读取时，当元数据管理系统查找到该数据位置，若该数据位于离线数据存储系统或近线数据存储系统，则会自动迁移到近线数据存储系统，然后再迁移到在线数据存储系统，或者直接迁移到在线数据存储系统中。