[发明专利]数据段单元传输差异化管理方法和分布式块存储系统

说明书

本发明公开了一种数据段单元传输差异化管理方法，包括以下步骤：S1、将若干数据段单元分组，所分的组的数量在[M/20]和[M/10]之间，且为整数，其中，M是一个组内所能管理的数据段单元的数量的最大值；S2、将一个数据段单元归入其所属的组，S3、如果步骤S2中的数据段单元所属的组内的元数据的总量大于C，则对该组进行再次分组，C是上报给信息管理服务节点的最大数据包的大小；S4、如果两个组内的元数据分别大于C/20且小于C/5，则将两组合并；S5、将数据段单元以组为单位上报给信息管理服务节点。本发明可以更好地利用网络资源，同时也能解决现有技术中网络拥堵的问题。本发明还提供一种分布式块存储系统，用于实现上述的数据段单元传输差异化管理方法。

技术领域

本发明属于计算机信息安全领域，更具体地说，涉及一种数据段单元传输差异化管理方法和分布式块存储系统。

背景技术

在DBS（Distributed Block Storage，分布式块存储系统）中，所有数据段单元segment unit的元数据信息需要统一上报给信息管理服务节点，信息管理服务节点收集所有的数据段单元segment unit的信息进行分析整理过滤然后展示给用户。现有技术中，所有数据段单元segment unit 的元数据信息定时地上报给信息管理服务节点，这样存在的问题是：一方面网络负载压力较大，容易造成网络拥堵；另一方面信息管理服务节点需要不停地处理所有的数据段单元segment unit的元数据信息，信息管理服务节点会面临极大的处理压力。

授权公告日为2017年3月22日，授权公告号为CN104967639B，专利名称为一种信息上报方法、装置及数据节点服务器的中国专利公开了一种技术方案，用以降低大量元数据信息上报给元数据服务器带来的负担。该技术方案包括：当需要向元数据服务器上报数据块的元数据信息时，确定向元数据服务器上报的数据块的元数据信息；其中，若数据节点服务器是首次上报数据块的元数据信息，则上报的数据块的元数据信息包括该数据节点服务器中所有数据块的元数据信息，若数据节点服务器不是首次上报数据块的元数据信息，则上报的数据块的元数据信息为该数据节点服务器中部分数据块的元数据信息；数据节点服务器将上报的数据块的元数据信息上报给元数据服务器。

申请公布日为2017年8月18日，申请公布号为CN107070713A，专利名称为一种数据监测处理方法的中国专利公开了另一种技术方案，能够过滤短时间的或较低强度的超越阈值而触发的不必要的局部状态警告报告和全节点的轮流查询，减少了每个监测节点上报状态信息的次数，可减少网络负载量，并且还提高了整个系统中数据安全监测的可靠性，降低了误报和错报的几率，降低了整个系统的资源消耗。

与上述技术方案不同，本发明提供了另一种技术方案，以解决现有技术中网络拥堵及信息管理服务节点处理数据压力过大的问题。

发明内容

1. 要解决的问题

针对现有技术中网络拥堵及信息管理服务节点处理数据压力过大的问题，本发明提供一种数据段单元传输差异化管理方法。

2. 技术方案

为了解决上述问题，本发明所采用的技术方案如下：一种数据段单元传输差异化管理方法，包括以下步骤：

S1、将若干数据段单元分组，所分的组的数量在[M/20]和[M/10]之间，且为整数，其中，M是一个组内所能管理的数据段单元的数量的最大值；

S2、将一个数据段单元归入其所属的组，

S3、如果步骤S2中的数据段单元所属的组内的元数据的总量大于C，则对该组进行再次分组，C是上报给信息管理服务节点的最大数据包的大小；

S4、如果两个组内的元数据分别大于C/20且小于C /5，则将该两组合并成一个组；

S5、将数据段单元以组为单位上报给信息管理服务节点。