[发明专利]一种基于模式运行时特征的模式作业运行状态分析方法

摘要

本发明涉及一种基于模式运行时特征的模式作业运行状态分析方法，包括：(1)实时提取状态特征、量化特征；(2)根据状态特征判别模式作业运行状态；(3)根据量化特征分析模式作业性能是否发生异常。本发明基于定性信息的状态特征，通过对有限个状态的直接判断，可有效发现一定类别的故障，提高了故障发现的及时性。基于性能参数的量化特征，通过相关性分析、常态范围判别、固定周期预测、时间序列分析等技术，能够及时识别模式作业的运行异常，能够有效发现计算节点挂死、作业无输出、中间变量异常等目前存在的不便识别和判断的现象，有利于模式的业务连续性运行保障。

主权项

1.一种基于模式运行时特征的模式作业运行状态分析方法，其特征在于，包括：(1)实时提取状态特征、量化特征所述状态特征包括计算节点状态、网络状态、文件系统状态、队列状态、作业状态；所述计算节点状态，是指高性能计算系统中计算节点的状态；所述网络状态，是指高性能计算系统中计算节点的网络接口卡状态及交换机接口状态；所述文件系统状态，是指高性能计算系统中全局文件系统的状态及计算节点挂载的文件系统客户端状态；所述队列状态，是指高性能计算系统中计算节点资源队列的状态；所述作业状态，是指高性能计算系统中用户提交的作业程序的运行状态；所述量化特征包括模式运行速度、模式运行时中间变量和统计量的趋势特征、数据文件的输出特征、运行时计算负载、运行时内存负载、网络利用率、MPI通讯特征；所述模式运行速度是指每小时模拟完成的模式年，或模拟完成一模式年所需要的时间；所述模式运行时中间变量和统计量的趋势特征，是指随着模拟步数的增加，中间变量和统计量的数值所呈现出来的变化趋势；中间变量，是指模式运行过程中输出的用以监测模式实时运行状态的变量；统计量，是指用来对模式运行过程中的实时运行数据进行分析和检验的变量；所述数据文件的输出特征包括实时写出、周期性写出；所述运行时计算负载，指计算节点的负载或处理器利用率；所述运行时内存负载，指计算节点的内存利用率；所述网络利用率，指计算节点的网络接口发送利用率和接收利用率，包括稳定型网络利用率和周期性变化型网络利用率，稳定型网络利用率，指在模式的运行期间，网络利用率在一个数值附近上下微小浮动，或者在一个有限范围内随机变化；周期变化型网络利用率，指在模式的运行期间，网络利用率呈现有规律的增减变化；所述MPI通讯特征是指模式运行期间各进程间的通讯次数、通讯数据量；(2)根据步骤(1)实时提取的状态特征判别模式作业运行状态作业运行过程中，当计算节点状态为busy、SPE‑busy之外的状态时，或计算核心的数量异常时，则判定作业运行过程中计算节点发生故障，作业运行中断；否则，作业运行过程中计算节点工作正常；当网络状态即网络接口为ok之外的状态时，则判定网络系统发生故障，作业运行中断；否则，网络系统工作正常；当文件系统状态为ok之外的状态时，则判定文件系统发生故障，作业运行中断；否则，文件系统工作正常；当队列状态为Open:Active即开启:激活之外的状态时，则判定队列对应的作业发生故障，作业运行中断；否则，队列对应的作业工作正常；当作业状态为starting即作业正在启动运行、pend即作业正在调度、run即作业正在运行、done即作业正常完成并退出之外的状态时，或者当作业状态为pend且该作业需要的资源充足，则判定对应的作业的总体状态为故障，作业运行发生中断；否则，作业工作正常；当同时判定作业运行过程中计算节点工作正常、网络系统工作正常、文件系统工作正常、队列对应的作业工作正常、作业工作正常时，进入步骤(3)；否则，直接判定为故障，结束；(3)根据步骤(1)实时提取的量化特征分析模式作业性能是否发生异常模式作业性能发生异常，是指作业状态仍处于运行状态，还没有发生中断时，根据以往的运行性能数据分析判断为当前的性能异常；如果模式作业性能发生异常，则及时提醒系统管理员和用户，人工进行离线分析和处理；否则，正常。