[发明专利]一种基于storm的实时空间最近邻分类预测方法及系统

权利要求书

1.一种基于storm的实时空间最近邻分类预测方法，其特征在于：首先用storm启动一个拓扑网络，所述拓扑网络包括TrainSpout、SearchSpout、GridTrainBolt、LocationBolt、AknnBolt、NeiborBolt、ResultBolt、ClaBolt节点；所述TrainSpout、SearchSpout，用于产生不同的数据源；所述GridTrainBolt、LocationBolt、AknnBolt、NeiborBolt、ResultBolt、ClaBolt，用于完成不同的数据处理任务；

所述方法包括以下步骤：

步骤1：空间数据预处理；

步骤1.1：TrainSpout接收传感器采集的原始数据，将其发送到GridTrainBolt中进行数据预处理以便得到进行网格定位的数据集；

步骤1.2：GridTrainBolt对原始数据进行数据预处理；

GridTrainBolt对空间数据进行网格划分，确定每个训练点所在的网格单元，同时设置一个参数Gmax，其中Gmax的取值应大于AknnBolt中堆容量K的取值；Gmax的大小决定了每个单元包含的训练点的上限，当网格单元中的值大于Gmax时，对该网格单元进行再次划分，直至每个网格单元中的训练点个数小于Gmax，对于不含训练点的网格单元进行舍去；GridTrainBolt处理完成的数据持久化保存在Redis数据库中；

步骤1.3：SearchSpout接收由分布式发布订阅消息系统Kafka实时分发的预测点，将每个预测点转化成数据流源源不断地发送到LocationBolt中，进行预测点的数据预处理以便得到经过网格单元定位的预测点；

步骤1.4：LocationBolt接收SearchSpout的预测点数据流，利用GridTrainBolt传来的网格数据对每个预测点进行网格单元的定位，并将处理完的数据发送至AknnBolt和NeiborBolt；

步骤2：构建空间搜索模型；

步骤2的具体实现包括以下子步骤：

步骤2.1：AknnBolt接收到SearchSpout传来的预测点后，根据Redis数据库中保存的GridTrainBolt网格划分后的训练集数据，通过GridTrainBolt自带的setNumTasks()方法设置多个Task，并行计算得到预测点在其单元内的最近邻列表List1，并将结果发送至ResultBolt和NeiborBolt；

步骤2.2：NeiborBolt接收来自AknnBolt的数据，根据步骤2.1中预测点的最近邻列表List1，计算得到最近邻列表List1中第1个点与预测点的距离，同时预测点的邻近单元，计算预测点与邻近单元的距离，当预测点与邻近单元的距离小于表中第1个点与预测点的距离时，记录该邻近单元编号，当遍历完预测点的邻近单元后，得到一个邻近单元列表；NerborBolt将设置多个Task，并行计算得到预测点在邻近单元中的最近邻列表List2，并将结果发送至ResultBolt；

步骤3：根据查询结果汇总成为最终的空间邻近列表；

步骤3的具体实现包括以下子步骤：

步骤3.1：ResultBolt将来自AknnBolt的最近邻列表与NerborBolt的最近邻列表按照预测点与其他点的距离由小到大进行排序，得到预测点的最近邻列表；

步骤3.2：ResultBolt按照需求，选择预测点最近邻列表中的前K个点作为预测点最终的最近邻列表ListAll；

步骤4：对预测点进行分类预测；

ClaBolt接收来自ResultBolt中的数据，根据最终的最近邻列表ListAll中数据特征，选择出现最多的特征作为预测点的特征，并将预测点以及预测点特征作为最终结果，并输出。