[发明专利]一种磁盘存储负载均衡方法及装置

说明书

本申请公开了一种磁盘存储负载均衡的方法及装置，包括：计算各个磁盘的瞬时存储利用率均值；计算各个磁盘的历史存储利用率均值；根据所述各个磁盘的瞬时存储利用率均值生成磁盘存储利用率列表；根据所述磁盘存储利用率列表中各个磁盘的瞬时存储利用率均值和历史存储利用率均值，对所述磁盘存储利用率列表中的各个磁盘进行排序，并根据排序的序列确定待迁移磁盘和目标磁盘；将数据从所述待迁移磁盘迁移至所述目标磁盘。可以得到优先迁移数据的待迁移磁盘和优先迁入数据的目标磁盘，有效均衡各个磁盘数据的同时也有效避免浪费集群节点的CPU，磁盘IO，均衡了集群存储占用，极大的提高了集群存储利用率。

技术领域

本发明属于数据处理技术领域，具体涉及一种磁盘存储负载均衡方法及装置。

背景技术

中间件是应用程序提供操作系统所提供的服务之外的服务，处于“中间层”的组件，是上层的应用程序和底层的服务之间的桥梁，也是应用与应用之间的桥梁(例如，分布式服务组件)。分布式消息中间件支持在分布式系统中发送和接受消息的硬件或软件基础设施，即分布式消息中间件本身也是一个分布式系统。

目前高吞吐量分布式消息中间件操作系统通过文件缓存而不是内存缓存。当前的高吞吐量分布式消息中间件通过存储数据偏移量到各个磁盘作为进行数据读写的记录依据。数据按主题分区，每个主题量级大小不一致，数据落盘的规则是根据磁盘上已有主题的数量。

在提升数据读写并发量，提升数据读写速度的同时，节点间、磁盘间的存储不均衡，磁盘IO负载不均成为了大规模分布式消息中间件的一大痛点。实际中，大型分布式消息中间件集群的各个磁盘虽然存储的主题数量相差不大，但是每块磁盘存储的数据量大小严重负载不均。这就会导致有一部分磁盘落的主题数据量比较大，主题的读写吞吐量比较大，那么剩余的一部分磁盘可能落入的主题数据量很小，磁盘的负载不均继而导致节点之间的存储不均，读写效率不均。并且，在大数据场景下，最大的分布式消息中间件集群需要100+节点，浪费的存储节点数量达到集群节点数量一半；且集群承载的读写并发量利用率较低。

发明内容

本申请针对现有技术中存在的布式消息中间件存在节点间、磁盘间的数据存储占用不均的缺点，以及在大数据场景下，使用分布式消息中间件还容易面对个别磁盘读写峰值问题，会造成一定的存储资源浪费的问题，提供一种磁盘存储负载均衡方法及装置。

本申请提供一种磁盘存储负载均衡的方法，包括：

计算各个磁盘的瞬时存储利用率均值；

计算各个磁盘的历史存储利用率均值；

根据所述各个磁盘的瞬时存储利用率均值生成磁盘存储利用率列表；

根据所述磁盘存储利用率列表中各个磁盘的瞬时存储利用率均值和历史存储利用率均值，对所述磁盘存储利用率列表中的各个磁盘进行排序，并根据排序的序列确定待迁移磁盘和目标磁盘；

将数据从所述待迁移磁盘迁移至所述目标磁盘。

可选的，所述磁盘存储利用率列表包括：第一列表和第二列表，所述根据所述各个磁盘的瞬时存储利用率均值生成磁盘存储利用率列表步骤，具体包括：

根据所述各个磁盘的瞬时存储利用率均值和预设的波动参数的阈值，分别计算各个磁盘的磁盘存储利用率的下限值和上限值；

确定磁盘存储利用率大于所述磁盘存储利用率的上限值的磁盘，以生成所述第一列表；

确定磁盘存储利用率小于所述磁盘存储利用率的下限值的磁盘，以生成所述第二列表。

可选的，所述根据所述磁盘存储利用率列表中各个磁盘的瞬时存储利用率均值和历史存储利用率均值，对所述磁盘存储利用率列表中的各个磁盘进行排序，并根据排序的序列确定待迁移磁盘和目标磁盘步骤，具体包括：