[发明专利]一种存储引擎和基于基础引擎的存储结构

说明书

技术领域

本发明涉及计算机存储领域，具体涉及一种存储引擎和基于基础引擎的存储结构。

背景技术

随着信息产业的发展，数据生产率水平的提高，人们对数据依赖性越来越强，从而对存储系统提出了更高的要求：随着信息产业的发展，数据的生产已经从科学计算等方面产生的TB级数据发展成多元化的数据生产机制产生的PB、EB级海量大数据，因此存储系统需要能够存储更海量的数据；随着社会的发展，数据存储的可靠性将越来越关系到国计民生，因此对存储系统的可靠性提出了要求；随着数据量的指数级增长，存储系统的扩容是必然要面对的问题，这对于现有的存储系统来说是一个极大的挑战。

另一方面，在数据中心中，存储系统需要支撑多样不同的应用。多应用对应于同一数据实体。应用的多样性体现在数据访问具有不确定性、数据具有时效性、空间性等特征，这些特征需要能够动态的对存储资源进行有效的调整。

现有的存储引擎根据需要选择有相应功能的模块，如在需要一个IO处理器（IOP）时则选择一个IOP，需要两个IOP时则选择两个IOP，每个IOP所实现的功能都是一样的，即所有的IOP都是对称的。且因为现有的存储引擎都是根据需要选择相应功能的模块进行设计，所以没有固定的结构，扩展性很差。

综上所述，基于现有的存储引擎无法实现能够满足上述要求的存储系统。

发明内容

有待于此，本发明要解决的技术问题是提供一种基础引擎，以提高现有存储引擎的性能和扩展性。

为了解决上述问题，采用如下技术方案：

一种存储引擎，包括第一IOP和第二IOP、磁盘互连接口、存储引擎互连接口和管理接口，所述第一IOP通过所述磁盘互连接口及外部交换模块与至少一个磁盘相连，所述第二IOP与所述外部交换模块相连，其中：

所述存储引擎互连接口设置成：通过外部交换模块与其他的存储引擎相连；

所述管理接口设置成：将该存储引擎与外部管理模块相连；

所述第一IOP设置成：通过所述服务接口读写所述服务器；通过所述磁盘互连接口与所述外部交换模块读写至少一个所述磁盘；

所述第二IOP设置成：存储对共用所述外部交换模块的所有存储引擎的所有磁盘做RAID形成的RAID元数据，并接收所述外部管理模块的指令，对RAID元数据进行更新；存储与该存储引擎互连的所有存储引擎的所有磁盘的镜像，并向所述外部管理模块上报其所在的存储引擎的运行状态及负载情况，根据所述外部管理模块下发的接替工作的指令，利用其所存储的磁盘镜像接替相应的存储引擎的工作；当所述第二IOP所在的存储引擎启动时随机生成存储引擎ID标识并保存该ID标识；当接收到所述外部管理模块发送的包含存储引擎ID标识及要读写的磁盘信息的独占读写指令后，判断该独占读写指令中包含的存储引擎ID标识与自身的存储引擎ID标识是否一致，若一致，则向相应的磁盘执行该独占读写。

可选地，所述RAID元数据包括相应RAID所包含的磁盘、条带信息、RAID状态和副本信息。

本发明要解决的另外一个技术问题是提供一种基于基础引擎的存储结构，以满足信息产业的发展对存储引擎的要求。

为解决该技术问题，采用如下技术方案：

一种存储结构，包括：多个存储引擎组，共享一个交换模块的至少两个如权利要求1或2所述的存储引擎构成一个存储引擎组，该存储结构还包括管理模块，其中：

所述交换模块设置成：实现共用该交换模块的存储引擎之间的数据交换；

所述管理模块设置成：控制存储引擎组中所有的磁盘在某一时刻由一个存储引擎独占读写；根据存储引擎组中所有存储引擎的负载情况调整主管读写的存储引擎；通过存储引擎组中所有存储引擎的存储情况调整数据的存放位置；接收存储引擎上报的运行状态及负载情况，当存储引擎组中某一存储引擎失效后，根据存储引擎上报的运行状态及负载情况确定用于接替工作的存储引擎，并向相应的存储引擎发送接替工作的指令；当存储引擎组中某一存储引擎的RAID更新时，通知该存储引擎组中其他存储引擎更新相应的RAID元数据。

可选地，控制存储引擎组中所有的磁盘在某一时刻由一个存储引擎独占读写：

从存储引擎组中选择在某一时刻对与该存储引擎组相应的所有磁盘中某一磁盘进行独占读写的存储引擎，并向该存储引擎发送独占读写指令，所述独占读写指令中包含该存储引擎ID标识及要读写的磁盘信息。

可选地，所述管理模块设置成按照以下方式根据存储引擎组中所有存储引擎的负载情况调整主管读写的存储引擎：