[发明专利]一种有效控制胖节点内存资源使用的方法

摘要

本发明提供了一种有效控制胖节点内存资源使用的方法。该方法利用Linux系统本身提供的工具对胖节点的内存资源使用情况进行定时监控，并采用一种闭环控制的模型将监控数据与设定的阈值进行比较，当内存使用率超过了设定的阈值时便通过进程控制的方式以防止由于内存使用过量而导致胖节点宕机，从而避免造成大量计算资源的浪费。该方法有效的保证了胖节点资源的合理、有效利用，并且可以根据用户的现实应用情况进行多种控制策略调整，在资源最大化利用的同时减少了用户对系统资源使用的复杂度，使系统更便捷、更稳定、更高效的运行。

主权项

一种有效控制胖节点内存资源使用的方法, 其特征在于通过使用Linux系统本身提供的工具对胖节点的内存资源使用情况进行定时监控，通过采集内存资源使用情况与设定的阈值进行比较，根据比较结果按照进程控制策略对系统进程进行调整，并再次采集调整后的内存使用情况与阈值进行比较，形成一个封闭的环状控制系统，使整个系统控制在稳定的平衡状态，当内存使用率超过了设定阈值时，便通过进程控制的方式将使用的内存控制在阈值范围之内；具体步骤如下：1）根据胖节点的物理内存和swap大小，设置适当的阈值；2）获取系统当前内存与swap使用情况；3）将当前系统内存与swap使用情况与阈值进行比较，若小于阈值范围则退出，若大于阈值范围则进入第4步；4）利用Linux系统命令ps提取出当前系统正在运行的内存使用率等于或大于0.1%的普通用户进程，其中包括进程的ID号、用户、cpu使用率、内存使用率、实际运行时间、cpu运行时间、进程状态、执行命令；5）根据进程控制策略选取目标进程，目前支持的进程控制策略包括3种：（1）选取当前占用内存资源最大的进程；（2）选取当前cpu运行时间最小的进程，即使用CPU计算资源最少的进程；（3）根据作业提交的时间，选取最后一个提交作业的进程；6）将选取出的目标进程kill掉；7）输出日志文件信息，告诉相应的用户其运行的作业被停止，以及停止的时间，停止的进程和进程相关的信息；通过上述步骤，一个对胖节点上所有普通用户运行进程使用内存资源的控制流程完成，该过程以Shell脚本的形式实现，通过添加系统的计划任务使该脚本定时执行，从而形成一个对内存资源使用控制的闭环系统。