[发明专利]一种优化集群存储网络资源配置的方法

摘要

本发明涉及一种计算机应用技术,具体地说是一种优化集群存储网络资源配置的方法。应用于集群网络存储系统的开发测试、应用部署中。集群网络存储系统中,针对某些高性能数据处理领域,需要经常存储、访问海量数据文件,同时运行并行程序对海量数据进行处理,如:高能物理实验中的数据处理程序、流媒体文件的存储与访问等。集群网络存储系统的特点是底层存储设备节点多、网络数据访问量大，目前部署集群网络存储系统时，需综合考虑系统的需求容量、性能、规模等参数。同时，开发测试过程中，合理分配节点数量、合理利用网络带宽是降低集群网络存储系统成本的重要途径。

主权项

一种优化集群存储网络资源配置的方法，其特征在于，使用本地内存盘建立虚拟存储池的方法进行网络存储数据带宽的评测，内容包括：通过直接修改本地linux 系统参数，设定本地虚拟存储盘大小，进而在本地内存盘上建立并行文件系统的虚拟存储池，通过系统所属网络的客户端节点访问虚拟存储空间，并测试网络数据的传输带宽，给出系统网络带宽的拟合曲线，为系统搭建的架构、规模提供可靠的评测依据，避免物理资源、网络资源的浪费；具体步骤如下：通过屏蔽后端磁盘阵列或磁盘读写速度的影响，直接进行网络存储数据的带宽评测，给大系统的评测、搭建提供合理的依据，该方法包括：构建虚拟内存盘存储池、实施例网络性能优化测试，其中：构建虚拟内存盘存储池：是该评测方法的关键，是本发明的核心部分，网络存储的文件系统不再使用传统的物理磁盘或后端磁盘阵列进行创建，而使用本地linux系统下的虚拟内存盘，通过修改/etc/grub.conf中的启动选项设置本地虚拟内存盘的大小，系统启动后，使用文件系统创建命令直接访问本地的/dev/ram0进行本地虚拟内存盘上文件系统的创建，整个网络中所有存储空间虚拟成统一的资源对外提供服务，本地计算机内存可达上百GB的空间，为该方法提供了足够的空间大小，使用该方法能有效避免后端存储资源对网络带宽的影响，特别是在系统的预估过程中有着重要意义；实施网络性能优化测试：是在屏蔽后端阵列影响的基础上，进行网络端口带宽的优化，进而确定网络端口的计算、存储资源有效分配；通过多计算客户端向单一存储端口读写数据测试单一存储端口的数据传输带宽；通过多存储端口提供服务，测试单一计算客户节点的数据读写网络带宽瓶颈；通过多计算节点对多存储节点绘制网络带宽及端口带宽吞吐率的拟合曲线，通过以上数据分析，进行计算资源与存储资源的有效分配，减少存储、计算、网络资源的瓶颈浪费，实现系统功效最大化。