[发明专利]一种基于流式存储的存储网关资源分配方法

权利要求书

1.一种基于流式存储的存储网关资源分配方法，其特征在于，包括以下步骤：

步骤1，存储网关与服务器集群连接；对所述服务器集群进行逻辑划分，将所述服务器集群划分为多个存储组；

每个所述存储组包括N个节点，分别为：节点Node₁,节点Node₂,...,节点Node_N；对于任意的节点Node_i，i＝1,2,...,N，包括节点处理模块C_i以及D块磁盘，D块磁盘分别为：磁盘Disk_i1,磁盘Disk_i2,...,磁盘Disk_iD；其中，N个节点中，包括N₁个数据存储节点，N₂个冗余存储节点；N＝N₁+N₂；

步骤2，创建磁盘阵列单元DAU，方法为：

节点Node₁的磁盘Disk₁₁,节点Node₂的磁盘Disk₂₁,...,节点Node_N的磁盘Disk_N1组成磁盘阵列单元DAU₁；

节点Node₁的磁盘Disk₁₂,节点Node₂的磁盘Disk₂₂,...,节点Node_N的磁盘Disk_N2组成磁盘阵列单元DAU₂；

依此类推

节点Node₁的磁盘Disk_1D,节点Node₂的磁盘Disk_2D,...,节点Node_N的磁盘Disk_ND组成磁盘阵列单元DAU_D；

步骤3，存储池的划分，方法为：

对于步骤2形成的D个DAU，选择若干个DAU形成的集合称为存储池；由此将D个DAU分配形成m个存储池，分别为存储池Pool₁,存储池Pool₂,...,存储池Pool_m；

步骤4，存储网关作为设备接入的唯一入口，同时管理整个服务器集群相关资源；当存储网关接收到设备E的接入请求时，存储网关对接入请求进行解析，获得以下参数：设备E的设备ID，存储周期T、设备视频数据带宽B以及接入模式；其中，所述接入模式包括容量优先模式和省电优先模式；

存储网关根据存储周期T和设备视频数据带宽B，计算得到设备E所需总存储容量need_capacity；

如果为容量优先模式，则执行步骤5；如果为省电优先模式，则执行步骤6；

步骤5，存储网关采用容量优先模式，按以下方式，从服务器集群中选择所需的磁盘阵列单元DAU：

步骤5.1，存储网关比较各个存储组的当前剩余容量，选择剩余容量最大的存储组，表示为存储组store_max；

步骤5.2，存储网关判断存储组store_max的当前剩余容量是否大于等于设备E所需总存储容量need_capacity，如果判断结果为否，则向设备E发送接入失败的通知消息；如果判断结果为是，则执行步骤5.3；

步骤5.3，存储网关比较存储组store_max的各个存储池的当前剩余容量，选择剩余容量最大的存储池，表示为存储池Pool_max；

步骤5.4，存储网关判断存储池Pool_max的当前剩余容量是否大于等于设备E所需总存储容量need_capacity，如果判断结果为否，则需要在存储组store_max内跨存储池存储设备E的数据，向设备E发送是否允许跨存储池存储数据的询问消息，如果存储网关接收到设备E的禁止跨存储池存储数据的消息，则存储网关向设备E发送接入失败的通知消息；否则，存储网关按存储池占用数量最少的原则，确定需要采用的存储池；

如果判断结果为是，则执行步骤5.5；

步骤5.5，存储网关比较存储池Pool_max的各个磁盘阵列单元DAU的当前可使用剩余容量选择当前可使用剩余容量最大的磁盘阵列单元DAU，表示为磁盘阵列单元DAU_max；

其中，磁盘阵列单元DAU的当前可使用剩余容量采用以下方式计算：

当前可使用剩余容量

其中：当前剩余容量

步骤5.6，存储网关判断磁盘阵列单元DAU_max的当前可使用剩余容量是否大于等于设备E所需总存储容量need_capacity，如果判断结果为否，则需要在存储池Pool_max内跨磁盘阵列单元DAU存储设备E的数据，向设备E发送是否允许跨磁盘阵列单元DAU存储数据的询问消息，如果存储网关接收到设备E的禁止跨磁盘阵列单元DAU存储数据的消息，则存储网关向设备E发送接入失败的通知消息；否则，存储网关按磁盘阵列单元DAU占用数量最少的原则，确定需要采用的磁盘阵列单元DAU；

如果判断结果为是，则磁盘阵列单元DAU_max即为最终选定的磁盘阵列单元DAU，然后执行步骤7；

步骤6，存储网关采用省电优先模式，按以下方式，从服务器集群中选择所需的磁盘阵列单元DAU：

步骤6.1，存储网关建立存储组集合；初始时，存储组集合包括服务器集群的所有存储组；

步骤6.2，存储网关读取存储组集合，比较存储组集合中的各个存储组的当前活跃度，选择当前活跃度最大的存储组，表示为存储组store_max；

其中，存储组活跃度是指：存储组当前处于激活运行状态的磁盘的数量；处于激活运行状态的磁盘数越多，则存储组的当前活跃度越高；

步骤6.3，存储网关判断存储组store_max的当前剩余容量是否大于等于设备E所需总存储容量need_capacity，如果判断结果为否，则将当前识别到的存储组store_max从存储组集合中移出，再返回步骤6.2；

如果判断结果为是，则执行步骤6.4；

步骤6.4，存储网关建立与存储组store_max对应的存储池集合；初始时，存储池集合包括存储组store_max的所有存储池；

步骤6.5，存储网关读取存储池集合，比较存储池集合中的各个存储池的当前活跃度，选择当前活跃度最大的存储池，表示为存储池Pool_max；

其中，存储池活跃度是指：存储池当前处于激活运行状态的磁盘的数量；

步骤6.6，存储网关判断存储池Pool_max的当前剩余容量是否大于等于设备E所需总存储容量need_capacity，如果判断结果为否，则将当前识别到的存储池Pool_max从存储池集合中移出，再返回步骤6.4；

如果判断结果为是，则执行步骤6.7；

步骤6.7，存储网关建立与存储池Pool_max对应的磁盘阵列单元DAU集合；初始时，磁盘阵列单元DAU集合包括存储池Pool_max的所有DAU；

步骤6.8，存储网关读取DAU集合，比较DAU集合中的各个DAU的当前活跃度，选择当前活跃度最大的DAU，表示为磁盘阵列单元DAU_max；

其中，DAU的当前活跃度是指：DAU当前处于激活运行状态的磁盘的数量；

步骤6.9，存储网关判断磁盘阵列单元DAU_max的当前可使用剩余容量是否大于等于设备E所需总存储容量need_capacity，如果判断结果为否，则将当前识别到的DAU_max从DAU集合中移出，再返回步骤6.8；

如果判断结果为是，则磁盘阵列单元DAU_max即为最终选定的磁盘阵列单元DAU，然后执行步骤7；

步骤7，将最终选定的磁盘阵列单元DAU_max和磁盘阵列单元DAU_max，统一表示为磁盘阵列单元DAU⁰_max；将磁盘阵列单元DAU⁰_max的ID、设备E的设备ID以及设备E所需总存储容量need_capacity的对应关系形成配置表，并将配置表同步给选定存储组的各个节点的节点处理模块C；

步骤8，存储网关在N个节点，即在节点Node₁,节点Node₂,...,节点Node_N中，按照选择策略，选择一个与本次接入设备E对应的接入节点Node_接入，将剩余N-1个节点称为非接入节点；

步骤9，存储网关将设备E的接入请求转接到接入节点Node_接入；

步骤10，接入节点Node_接入的节点处理模块C_接入实时接收设备E的视频流，对设备E的视频流进行分块处理，方法为：每当接收到设定长度的视频流时，将该设定长度的视频流按序分割为N₁个数据块，然后按N₁个数据块各分送给对应的N₁个数据存储节点的节点处理模块，即：1个数据块发送给对应的1个数据存储节点；

步骤11，对于接收到设备E的数据块的数据存储节点，按以下方式存储数据块：

数据存储节点首次接收到设备E的数据块时，通过本地存储的配置表，根据设备E的设备ID定位到对应的DAU，进而定位到对应的磁盘Disk；在定位到的磁盘Disk中，从当前可用磁盘容量中，划分出长度等于设备E所需总存储容量need_capacity的存储区域，作为设备E的存储区域；

后续过程中，数据存储节点将接收到的设备E的各个数据块，按序存储到确定的存储区域中。

2.根据权利要求1所述的一种基于流式存储的存储网关资源分配方法，其特征在于，步骤8中，采用以下方式，确定接入节点：

1)对于任意的节点Node_i，采用下式计算总负载B_i：

已接入设备的占用带宽为B_Node_i，节点Node_i的CPU负载为CPU_Node_i，则采用下式计算节点Node_i的总负载B_i：

B_i＝α*B_Node_i+β*CPU_Node_i

其中：α为占用带宽权重；β为CPU负载权重；

2)总负载B_i最小的节点，即为接入节点；如果总负载B_i最小的节点存在多个，则选择框槽号或IP地址最小的节点作为接入节点。