[发明专利]一种紧耦合多控存储系统控制器之间的高速互联方法

说明书

技术领域

本发明涉及计算机应用技术领域,具体地说是一种紧耦合多控存储系统控制器之间的高速互联方法。

背景技术

经过最近几年存储技术的发展，磁盘阵列控制器架构的发展方向有了明显的差异。出现了控制器耦合而成的集群存储系统(EMC V-MAX、IBM IXV、HP 3PAR等)，也出现了分布式多层控制器组合而成的存储系统(HDS VSP、EMC DMX)。前者是模块化存储的堆叠，每个节点之间采用的是标准的外部互联技术，比如千兆以太网、RapidIO、infiniband等。后者采用的是分层直接互联方式，每层控制器上含有多个互联接口，通过多个数据接口实现系统直接互联等。两种技术有着各自的特点，适应各自不同的市场需求。

传统多控存储设备的各控制器之间的数据交互通过系统PCIE总线上连接的其他通信协议芯片进行交互（如10GbE、Infiniband协议接口的芯片）。采用这种架构，控制器间数据传输的路径为：

起始控制器-缓存——>控制器上的PCIE（Peripheral Component Interconnection Express，快速外设组件互连标准）总线——>通信协议接口芯片——>数据交换模块——>目的控制器通信协议接口芯片——>目的控制器PCIE总线——>目的控制器缓存。

采用上述架构，存储设备控制器上，必须包含通信协议接口芯片，硬件设计难度和成本大；数据传输从起始方到接受方，经历了两次数据协议的转换，使得系统数据交换速率和效率下降。 

发明内容

本发明设计一种紧耦合多控存储系统控制器之间的高速互联方法；通过基于北桥芯片的PCIE总线接口扩展，多控制器数据数据交换器，数据信号识别传输方法，实现紧耦合存储系统中的基于PCIE总线的互联。

本发明的目的是按以下方式实现的，多控存储系统中的控制器资源调度与协调是通过系统程序进行控制器资源调度决策，进而实现不同控制器间的数据传输，存储控制器CPU将决策信息进行封装后发送至北桥扩展出的高速总线，数据交换器将数据中的目的信息进行解析，对照本地FW对应表进行总线的连接状态调整实现多控之间的数据定向传输，方法包括：（1）存储控制器通过PCIE架构高速总线的扩展；（2）多控制器间Crossbar数据的交换；（3）数据信号的识别传输，其中：

1）存储控制器通过PCIE架构高速总线的扩展，存储控制器选用通用的intel架构CPU，intel架构主板上的北桥芯片用来处理高速数据信号和处理器CPU，内存RAM，PCI Express,和南桥芯片之间的通信，通过北桥芯片直接扩展出2个以上的PCIE高速总线接口，用以来实现存储控制器之间的数据传输，同步PCIE数据由起始控制器向目的控制器发送的路径为：

起始控制器-缓存—>控制器上的PCIE高速总线—>PCIE交换机模块—>接受数据的控制器PCIE高速总线—>接受数据的控制器缓存；

2）多控制器间Crossbar数据的交换，是通过数据交换器来实现，数据交换器用以实现2个以上控制器之间的互联，对外提供与控制器扩展接口匹配的交换接口，所有接口连接在数据交换器的高速交换背板上，通过Crossbar交叉矩阵实现所有端口的互联，端口编号与控制器编号通过FW写入数据交换器映射表中，FW中的映射关系通过数据交换器实现端到端的PCIE高速总线联通；

3）数据信号的识别传输，数据传输根据控制器数量、数据镜像策略不同实现不同节点间的数据传输，控制器将数据目的地址进行封装后加入到数据包头中，在数据交换器上解析后，通过与数据交换器中的映射表比较实现数据传输至其相应端口，具体互联步骤如下：

（1）存储数据信息发送至PCIE高速总线，总线数据的发送需要控制总线、地址总线、数据总线，首先存储控制器通过数据交换器中的控制芯片仲裁机制获取PCIE高速总线网络端口控制权；

（2）获取PCIE高速总线网络端口控制权根据整个多控系统的资源调度策略进行优化，促使系统中的总线使用效率及仲裁机制完美结合；

A)控制器1中数据传输至控制器2、3，控制器1首先通过空闲控制总线申请到总线端口控制权；

B)控制器1目的地址数据传输至总线数据交换器，其决策控制芯片将控制器1、2位置连通，释放总线控制申请；

C)控制器1将数据传输至PCIE高速总线；

D)控制器2、3接收总线数据；

E)数据传输完毕，控制器1通知总线控制装置释放PCIE高速总线端口；