[发明专利]一种数据高速存储处理系统

摘要

本发明公开了一种数据高速存储处理系统，系统构架包括对象数据存储控制模块、对象数据存储模块、元数据存储控制模块、元数据存储模块、客户端，对象数据存储控制模块与对象数据存储模块相连，元数据存储控制模块与元数据存储模块相连，对象数据存储控制模块与元数据存储控制模块通信连接；客户端分别与对象数据存储控制模块、元数据存储控制模块通信；本发明采用高可用性双活模式，与传统的模式相比，提升了硬件的资源利用率，增加客户端访问速度，提高数据传输速度，提供保护机制，高可用性；采用Raid6模式，留有备用的存储空间，防止数据丢失；对长时间没有被访问的数据进行标记，提醒用户整理数据存储空间，提高利用率。

主权项

一种数据高速存储处理系统，其特征在于：其架构包括：对象数据存储控制模块、对象数据存储模块、元数据存储控制模块、元数据存储模块、客户端；对象数据存储模块：包括多个对象数据存储单元，用以存储客户端存储或者读取的数据，为客户端提供数据存储和读取的空间；元数据存储模块：包括多个元数据存储单元，保存元数据存储控制模块获取的对象数据存储模块中的存放数据的所有信息和该数据在对象数据存储模块中的存储位置；对象数据存储控制模块：包括多个对象数据存储服务器，对对象数据存储模块进行管理和控制，从元数据存储控制模块获取数据的存储位置，将客户端的数据按照元数据存储控制模块提供的存储位置存储到指定的位置；元数据存储控制模块：包括多个元数据存储服务器，对元数据存储模块进行管理和控制，获取对象数据存储模块中的所有数据的数据信息和所有数据在对象数据存储模块中的存储位置，同时为对象数据存储模块提供数据存储的相应位置，为客户端提供数据的信息和存储位置；每个对象数据存储服务器与多个对象数据存储单元相连，每个对象数据存储单元均与两个对象数据控制服务器相连，两个对象数据存储服务器之间通过以太网络连接构成一个对象数据高可用性单元；每个元数据存储服务器与多个元数据存储单元相连，每个元数据存储单元与两个元数据存储服务器相连；两个元数据存储服务器之间通过以太网络连接连接构成一个元数据高可用性单元；对象数据存储控制模块与元数据存储控制模块基于网络进行通信连接；客户端分别与对象数据存储控制模块、元数据存储控制模块基于网络相互通信；对象数据高可用性单元中的两个对象数据存储服务器在进行数据存储或读取时同时工作，当对象数据高可用性单元中的一个对象数据存储服务器发生故障不能正常工作时，对象数据高可用性单元中的另一个对象数据存储服务器会接管该发生故障的对象数据存储服务器的业务；元数据高可用性单元中的两个元数据存储服务器同时工作，当元数据高可用性单元中的一个元数据存储服务器发生故障不能正常工作时，元数据高可用性单元中的另一个元数据存储服务器会接管该发生故障的元数据存储服务器的业务；数据的处理包括写入和读取，其过程如下：客户端将数据包存入对象数据存储模块的过程中，首先，元数据存储控制模块根据存入数据包的大小为该数据包分配其在对象数据存储模块中的存储位置，元数据存储控制模块根据分析其内部存储的对象数据存储模块的相应存储信息，为数据包指定其在对象数据存储模块中的存储位置，元数据存储控制模块通过读取该数据包的信息，得到该数据的名称、大小、类型和属性，元数据存储控制模块将得到的该数据的名称、大小、类型、属性和其在对象数据存储模块中的存储位置记录并进行保存，元数据存储控制模块与对象数据存储控制模块进行通信，对象数据存储控制根据元数据存储控制模块指定的位置，将数据包存放在对象数据存储模块中相应的存储位置，同时元数据存储控制模块将该数据包的更新时间进行存储，对象数据存储控制模块和元数据存储控制模块之间建有每个数据的内容和其数据信息所对应的映射表；客户端在读取对象数据存储模块的数据时，首先访问元数据存储控制模块，调用该数据在对象数据存储模块的存储位置和数据信息，客户端根据得到的数据存储的信息通过对象数据存储控制模块读取数据，元数据存储控制模块存储数据信息的读取时间，并更新数据的映射表；元数据存储控制模块中设有每个数据读取存储的时间数组，元数据存储控制模块按照设定的时间访问时间数组，将数组中数据的更新时间与当前的时间做减法，并取绝对值，得到数组中每个数据的未更新的时间段，并与其内部设定的时间段的阈值进行比较，超过该阈值时，元数据存储控制模块对该数据进行标记，提醒客户端对该数据进行相应的处理，从而整理对象数据存储模块中的存储空间。