[发明专利]基于拨测数据的数据中心网络故障节点诊断方法及系统

说明书

本发明属于监督，监控或测试装置技术领域，公开了一种基于拨测数据的数据中心网络故障节点诊断方法及系统，依据现有的故障探测信息生成动态广度优先生成树作为节点间的探测路径；基于给定的先验概率p分析拨测数据来初步确定网络成员的故障概率；通过分析概率分配函数选择一个合理的阈值来识别故障节点，将可疑节点集分类为故障节点集和正常节点集。与HFD算法相比，HBFD算法在检测数量和诊断精度方面都有更好的性能。在不同规模的网络拓扑中都能在较低的探测次数下准确识别网络中的故障节点。为了诊断网络中的恶意节点或其他类型的故障，将新方法引入HBFD也具有一定的研究价值。

技术领域

本发明属于监督，监控或测试装置技术领域，尤其涉及一种基于拨测数据的数据中心网络故障节点诊断方法及系统。

背景技术

目前，业内常用的现有技术是这样的：随着大数据时代的到来，云计算需求的不断增加使得数据中心网络规模不断扩大。如今，数据中心网络包含数十万台通过网络接口卡(NIC)，交换机和路由器，电缆和光纤连接的服务器，这些服务器大部分是分布式的并且具有高流量。在大型系统中，检测和定位故障对于网络管理系统通过故障恢复机制恢复网络通信非常重要。尽管有许多研究都致力于故障诊断策略，仍有如下所述的问题需要解决。1)诊断复杂性：除了为故障定位带来更高的时间和空间复杂度外，由于动态，不完整和不确定的信息，网络规模的增加也会导致更复杂的故障诊断。因此，有效降低故障诊断的探测次数和探测效率十分有意义的。2)网络负载增加：数据中心可以大大缩短算法执行时间，但也会导致控制器开销的可能性增加。一种可能的解决方案是应用参与策略来控制监视器的数量，而另一种策略是提高探测数据的有效性以减少数据量。现有的网络故障诊断技术主要分为三类：被动故障探测，主动故障探测和基于网络日志的故障模式识别方法。被动故障探测方法通过在网络中部署监控代理来监控网络的实时性能，被动获取网络成员的状态信息。一种在网络中的特定链路上放置被动监测设备的方法，这些代理通过在给定时间内便利网络中的所有链路来监测网络的成员的当前状态，但是这种方法有在大规模网络中生成冗余监测代理的缺点。一种使用依赖图的被动故障诊断方法，但是这些算法一次只能检测出有限数量的故障节点，不适用于大规模网络的环境。贝叶斯置信网络(BBN)也被广泛应用于故障探测技术。BBN将网络结构模型化为有向无环图，然后通过分析端到端可观察症状来尝试找到失败的节点，故障推理在大规模网络中有较高的时间复杂度，使得故障管理系统不能及时有效的恢复网络的通信。主动故障诊断通常使用探测器来检测服务器的状况，这些选定的探针被传输以获得端到端的统计数据，如包丢失率，延迟和吞吐量等。然后控制器收集这些统计信息以获取进一步的信息对于主动探测推理，设计合适有效的探测策略非常重要。一种使用自适应探测的故障诊断系统架构。大多数基于探针的技术包含三个组件：探测站选择，探测器选择和故障推理。但是这些方法在大规模网络中受到流量开销的限制。一种减少网络流量开销的分阶段测试方法，在每个阶段只使用一小组探针检测到网络的一小部分区域。但如何找到合理布置探针台和探针台失效的问题还有待进一步探讨。一种探针台选择算法，以最小化探针台的数量并使探针台对抗故障具有鲁棒性。然而，如何放置探测站来监测故障站的问题仍然没有解决。随着大数据技术的发展，基于日志数据的故障诊断技术引起了广泛的关注。基于网络系统日志的技术通常建立在阈值算法的基础上，该算法首先基于网络管理人员的经验为网络不同的检测性能设置适当的阈值，然后通过将实际值与默认阈值进行比较来检测故障。这种技术很简单但存在两个明显的缺点：1)它的阈值是根据经验选择的；2)不分析低于阈值的数据，导致与网络状况有关的一些详细信息可能会被遗漏。用于主动故障诊断的新型分析体系，不仅考虑错误和下降等异常日志的关键字，还尝试发现突发性故障的模式。但是，基于数据的算法在数据预处理(如数据提取，数据清理和异常处理)方面有较高的时间复杂度。

综上所述，现有技术存在的问题是：