[发明专利]一种基于Ceph纠删码的异构混合负载均衡存储方法

说明书

本发明涉及边缘存储技术领域，具体涉及一种基于Ceph纠删码的异构混合负载均衡存储方法，包括异构OSD集群节点定时上报包括磁盘I/O能力，纠删码平均计算时间在内的各类资源信息，构建OSD权重因子决策矩阵，并进行归一化处理得到规范化决策矩阵；使用TOPSIS法计算每个OSD到正负理想解的距离，并计算得到一组相对贴近度集合；根据OSD节点贴进度选择可用OSD节点集合，并采用哈希算法选择出主OSD节点作为目标节点，以达到负载均衡的目的；本发明在保证边缘存储系统的吞吐能力、系统的可扩展性和数据存储效率的基础之上有效利用存储节点的资源，考虑节点的负载状况，提高系统的吞吐能力。

技术领域

本发明涉及边缘存储技术领域，具体涉及一种基于Ceph纠删码的异构混合负载均衡存储方法。

背景技术

为了弥补云计算的不足，解决技术发展带来的新需求，边缘计算的概念应运而生。边缘计算的概念受启发于云计算，它是指在靠近物或数据源头的网络边缘侧，融合网络、计算、存储、应用核心能力的分布式开放平台，就近提供边缘智能服务。边缘计算多用于工业控制、无人驾驶、智慧家居等应用场景下，具有实时性高，移动性强，资源开销较小等特点。边缘计算提供的服务主要分为计算和存储两类，由边缘存储为边缘计算的发展提供可靠的支撑。

目前针对边缘存储的研究应用大部分集中在边缘存储架构，任务节点选择策略，高效的存储方式上，仍存在以下问题：

1)使用中心化分布式存储构建边缘存储架构作为底层存储支撑，但是如何保证系统的高可用性和提升系统整体吞吐能力是该方案被质疑的地方；以中心化分布式存储的代表技术HDFS为例，集群除需要维护工作节点之外，还需要维护元数据节点，并且每次读写任务都需要先向元数据节点请求获取响应数据之后，才能继续读写任务，这无疑影响了系统的工作效率；

2)目前大部分针对边缘存储的研究依然选择多副本策略作为保证数据可用性的方式，该方式可以提供更快的数据恢复效率，于此同时也造成了存储效率低，不能有效利用节点计算资源的弊端；

3)Ceph集群在使用纠删码作为数据存储方式时，通过主节点协调数据的编解码和数据的分发工作，没有考虑到主节点的任务负载、I/O负载和网络负载情况，这极大地制约了系统的吞吐能力。

发明内容

为了解决上述几种边缘存储研究应用领域的缺陷，本发明提出一种基于 Ceph纠删码的异构混合负载均衡存储方法，包括以下步骤：

S1、异构OSD集群节点定时上报包括磁盘I/O能力，纠删码平均计算时间在内的各类资源信息，构建OSD权重因子决策矩阵，并进行归一化处理得到规范化决策矩阵；

S2、使用TOPSIS法计算每个OSD到正负理想解的距离，并计算得到一组相对贴近度集合；

S3、根据OSD节点贴近度选择可用OSD节点集合，并采用哈希算法选择出主OSD节点作为目标节点，主OSD节点进行存储操作。

进一步的，所述资源信息至少包括CPU负载、I/O负载、剩余带宽、磁盘 I/O能力、内存利用率、纠删码平均计算时间。

进一步的，构建OSD权重因子决策矩阵，并进行归一化处理包括：

S11、构造OSD权重因子决策矩阵，该决策矩阵表示为：

S12、使用Min-Max归一化方法，利用权重因子决策矩阵M进行归一化处理，得到规范化决策矩阵M′，规范化决策矩阵M′中第i行、j列的元素表示为：