[发明专利]网络信息的云聚类提取方法

摘要

本发明提供了一种网络信息的云聚类提取方法，分布式文件系统进行文件写入、数据存储及访问网络信息；SOM、Kmeans聚类算法与云计算的计算模型Map/Reduce进行无缝结合，得到基于云计算的Map/Reduce化的SOM、Kmeans聚类算法，JobTracker负责整个Map/Reduce的控制工作，空闲的TaskTracker来分配这些Map任务或者Reduce任务；TaskTracker执行从JobTracker发来的指令并同时处理Map和Reduce阶段之间数据的移动，每个TaskTracker节点会周期性的报告完成的工作和状态的更新，若其中一个TaskTracker节点保持沉默超过一个预设的时间间隔，则JobTracker记录下这个节点状态为死亡，并把分配给这个节点的数据发到别的节点。本发明具有良好的特征提取性能，解决现有的网络流量时间序列分析和预测算法中主观性太强的缺点。

主权项

一种网络信息的云聚类提取方法，其特征在于，该方法主要包括以下步骤：步骤a：利用分布式文件系统进行文件写入、数据存储及访问网络信息，该分布式文件系统包括一个主节点以及若干个子节点，主节点用以存储该分布式文件系统的元数据，所述元数据包括文件系统的名字空间以及管理文件的存储，所述子节点用以存放数据，由客户端直接与各子节点建立数据通信；步骤b：利用SOM、Kmeans聚类算法与云计算的计算模型Map/Reduce进行无缝结合，得到基于云计算的Map/Reduce化的SOM、Kmeans聚类算法，其采用JobTracker/TaskTrackers的结构实现Map/Reduce计算模式，JobTracker负责整个Map/Reduce的控制工作，首先选择空闲的TaskTracker来分配这些Map任务或者Reduce任务，TaskTracker执行从JobTracker发出的指令并同时处理Map和Reduce阶段之间数据的移动，每个TaskTracker节点会周期性的报告完成的工作及状态的更新，若其中一个TaskTracker节点保持沉默超过一个预设的时间间隔，则JobTracker将这个节点状态记录为死亡，并把分配给这个节点的数据发到别的节点。