[发明专利]基于Storm的CVFDT在CDN运维预测中的方法

摘要

本发明公开了基于Storm的CVFDT在CDN运维预测中的方法，主要用于CDN运维领域，通过对Storm拓扑进行相应建模，对高强度的应用下的磁盘或者刀片服务器出现故障的可能性进行预判。从而提高用户感受，提升服务质量。同时也为后台人员迁移数据，动态调整负载等等方面提供了一个更可靠的标准。

主权项

1.基于Storm的CVFDT在CDN运维预测中的方法，其特征在于，包括以下步骤：A1、启动storm拓扑，设置数据喷发节点并分配并发数；A2、将采集的磁盘状态数据读取到训练数据源Spout，训练数据源Spout以流的形式把数据样本传递给预处理Bolt进行处理；A3、在预处理Bolt中设置数据属性集并分配Bolt的并发数，预处理Bolt将样本属性值和属性集进行匹配，将样本流中属性和类标签完整的数据元组转换成实例类，将处理好的实例数据元组传递给建树Bolt建立预测模型；A4、建树Bolt存储接收到的实例数据元组，基于Hoeffding不等式建立决策树：达到初始建树条件时，初始化一个窗口W，并基于当前的窗口上初始化一个根节点，当样本集合的最佳属性和次佳属性差值满足Hoeffding不等式时，模型叶子节点自动分裂并不断更新，同时产生相应的替代子树防止概念漂移的发生；树的最底层叶子节点存储类别标记值(YES，NO)，YES代表磁盘未来一小时内可能会损坏，NO代表不会损坏；快速决策树算法周期性的将最新的预测模型存入Redis缓存数据库中；A5、快速决策树算法设置检测有效性的间隔，周期性的检测决策树的每个内部节点及其替代子树的有效性，当用户点播行为或环境的突变影响了磁盘状态数据的分布时，即认为发生了概念漂移，此时当前的预测模型可能与磁盘状态数据不匹配；A6、窗口W保存实时进入的新的磁盘数据样本，同时删除先进入窗口的旧的磁盘数据样本；重新寻找最佳分裂属性，新的属性成为一个替代子树的根节点，并且依据该根节点建立替代子树；如果后继滑动窗口的样本在替代子树上的分类精度高于原先的决策树，则替代子树取代原先的决策树，以维持滑动窗口的样本和更新后的决策树的一致性；A7、对服务器后续出现故障的可能性进行预判时，决策树Spout从Redis数据库中读取出决策树模型，传递给分类Bolt，由分类数据Spout喷发出待分类数据，同样先经过预处理Bolt处理后将实例数据元组传递给分类Bolt，分类Bolt调用分类的方法得到元组对应的决策树叶子节点的类别标签即实现了输入的磁盘状态数据未来的预测标记值(YES，NO)。