[发明专利]一种云存储系统中提升性能的数据处理方法

说明书

技术领域

    本发明涉及云存储领域，特别是一种云存储系统中提升访问性能的数据处理方法。

技术背景

在当今的IT管理中，存在着不断增长的数据量，越来越大的集群应用及云存储系统投入到实际使用中，多用户、多并发的访问要求也越来越多。

但现有技术的云存储系统大都是串行存储方法，其访问响应、读写性能也在逐渐变差，无法应对多客户的密集海量存储读写需求。

本发明所要解决的技术问题是针对现有技术的不足，提供一种云存储系统中提升性能的数据处理方法。

发明内容

本发明要解决的技术问题是：提供一种云存储系统中提升性能的数据处理方法。

本发明所采用的技术方案为：一种云存储系统中提升性能的数据处理方法，包括元数据管理系统、在线数据存储系统、近线数据存储系统、离线数据存储系统以及客户端，如图1所示，

其中，所述元数据管理系统与客户端之间只进行控制信号的传输，不进行存储数据流的传输；

客户端与在线数据存储系统之间进行存储数据流传输；

其中，在线数据存储系统效率高，成本也高，用来存放访问比较频繁的活跃数据，比如数据库、系统软件、应用软件等热点数据；

近线数据存储系统效率中等，成本中等，主要存放一些活跃差的，有访问要求但非热点数据，比如多媒体数据库、文献、备份等；

离线数据存储系统成本低，访问效率低，主要用来系统归档和备份，一般用来存放非热点数据。

相比较而言，在线数据存储系统效率会比较高，成本也会比较高；近线数据存储系统次之，离线数据存储系统拥有最好的成本，但访问效率会比较低。

数据传输时，大于阈值的数据文件均匀分割为各个数据块，分布式存储在每个在线数据存储系统上；通过数据管理系统的控制，保证单个数据文件读写并发进行。

系统由元数据管理系统自动跟踪数据的访问频率，数据在在线数据存储系统、近线数据存储系统和离线数据存储系统中自动流动，流动的同时会将上一级的备份删除，并在元数据管理系统中进行索引的备份，以保证资源的利用率和访问的有效性。

如图2所示，客户端写数据时，数据被分成各个规范的数据块，且每个写数据块根据以下步骤进行操作，最终做到并发写入，最终达到缩短整体写入时间，提升性能目的：

（1）客户端向元数据管理系统发起数据写请求；

（2）元数据管理系统根据其管理的在线数据存储系统的工作和使用情况，根据负载均衡的方法，计算出可以存放数据的目的在线数据存储系统，在目的在线数据存储系统上创建新的数据块；

（3）目的在线数据存储系统的数据块创建成功，将结果返回给元数据管理系统；

（4）元数据管理系统备份并同步此数据信息，并将目的在线存储系统的相关信息返回给客户端；

（5）客户端根据得到的目的在线数据存储系统相关信息，向对应目的存储节点发出数据写请求，并向目的在线存储系统发送数据；

（6）目的在线存储节点接收到数据并将之存储到对应数据块，同时也向其他在线数据存储系统进行备份；

（7）当本地数据写入并备份完成后，目的在线数据存储系统将完成信息返回给客户端；

（8）客户端收到完成信息后，即完成数据的写入。

数据写入时，暂存在当前的在线数据存储系统中，若访问频率高，则位置不会变动，若后续该数据访问频率变低，该数据会在元数据管理系统的指挥下，自行迁移到近线数据存储系统中，乃至最后迁移到离线数据存储系统中。

客户端读数据时，读取内容一般由多个读数据块组成，每个读数据块根据以下步骤进行操作，并行的从数据存储系统中读数据块，具体流程如图3所示。

（1）客户端根据读数据文件时，将请求提交给元数据服务系统，发起数据读请求；

（2）元数据管理系统查询索引列表，返回该数据所在的数据存储系统的列表，每个数据存储系统列表包括每个数据存储系统的地址和序号；

（3）客户端向读写请求数最少的数据存储系统发送读数据请求；

（4）数据存储系统从本地文件系统读出数据块，并返回数据块给客户端。

数据读取时，当元数据管理系统查找到该数据位置，若该数据位于离线数据存储系统或近线数据存储系统，则会自动迁移到近线数据存储系统，然后再迁移到在线数据存储系统，或者直接迁移到在线数据存储系统中。

本发明的有益效果为：

（1）云存储系统中不同设备的有效利用