[发明专利]计算密集型并行任务的异常检测方法及系统有效
申请号: | 201310590574.4 | 申请日: | 2013-11-20 |
公开(公告)号: | CN103645961A | 公开(公告)日: | 2014-03-19 |
发明(设计)人: | 武永卫;郑纬民;陈康;郭维超 | 申请(专利权)人: | 清华大学 |
主分类号: | G06F11/07 | 分类号: | G06F11/07;G06F9/38 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 张大威 |
地址: | 100084 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 计算 密集型 并行 任务 异常 检测 方法 系统 | ||
1.一种计算密集型并行任务的异常检测方法,其特征在于,包括以下步骤:
对程序机器码进行分析以获取所述程序机器码的函数覆盖信息;
根据所述函数覆盖信息选择任务进度跟踪函数,并对所述任务进度跟踪函数的入口进行插桩,以获取插桩后的程序机器码;
分别由多个计算节点通过所述插桩后的程序机器码执行作业的多个任务;
获取所述多个计算节点的多个跟踪信息;
对所述多个跟踪信息进行聚类分析,以获取聚类分析结果;
根据所述聚类分析结果判断所述多个计算节点中的异常节点;以及
判断执行的所述多个任务是否全部完成,若全部完成,则结束所述异常节点的检测。
2.根据权利要求1所述的方法,其特征在于,所述函数覆盖信息包括所述程序机器码中各个函数在采样执行中的函数调用次数信息。
3.根据权利要求1所述的方法,其特征在于,通过如下方法对所述多个跟踪信息进行聚类:二类K均值聚类算法。
4.根据权利要求1所述的方法,其特征在于,所述根据聚类结果得到所述多个计算节点中的异常节点,具体包括:
将所述聚类结果与预设阈值进行比较;
根据比较结果判断所述聚类结果中是否包括异常的聚类群;
如果是,则判定所述异常的聚类群对应的计算节点为所述异常节点。
5.根据权利要求4所述的方法,其特征在于,还包括:
对所述预设阈值进行动态调整,并根据动态调整后的预设阈值判定所述多个计算节点中的异常节点。
6.一种计算密集型并行任务的异常检测系统,其特征在于,包括:
插桩点选择器,用于对程序机器码进行分析以得到所述程序机器码采样执行中的函数覆盖信息,并据此选择任务进度跟踪函数;
程序插桩器,用于对所述任务进度跟踪函数的入口进行插桩,以获取插桩后的程序机器码,其中,插桩代码内容为对程序进度计数器加1;
多个计算节点,用于分别通过插桩后的所述程序机器码执行作业的多个任务;
收集装置,用于获取所述多个计算节点的多个跟踪信息;
聚类分析器,用于对所述多个跟踪信息进行聚类分析,并根据所述聚类结果判断所述多个计算节点中的异常节点。
7.根据权利要求6所述的系统,其特征在于,所述函数覆盖信息包括所述程序机器码中各个函数在采样执行中的函数调用次数信息。
8.根据权利要求6所述的系统,其特征在于,所述聚类分析器用于利用二类K均值聚类算法对所述多个跟踪信息进行聚类分析。
9.根据权利要求6所述的系统,其特征在于,所述聚类分析器用于:
将所述聚类结果与预设阈值进行比较;
根据比较结果判断所述聚类结果中是否包括异常的聚类群;
如果是,则判定所述异常的聚类群对应的计算节点为所述异常节点。
10.根据权利要求9所述的系统,其特征在于,还包括:
预设阈值调整装置,用于对所述预设阈值进行动态调整,以便所述聚类分析器根据动态调整后的预设阈值判定所述多个计算节点中的异常节点。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310590574.4/1.html,转载请声明来源钻瓜专利网。