[发明专利]一种基于Hadoop框架的作物光谱聚类分析处理方法

权利要求书

1.一种基于Hadoop框架的作物光谱聚类分析处理方法，其特征在于，包括如下步骤：

步骤1：采集作物的田间反射光谱，进行光谱数据格式转换；

步骤1.1：将采集的光谱数据进行格式转化，将原始的光谱数据转换为LibSVM格式；

步骤1.2：将光谱数据进行汇聚，形成需要聚类分析的光谱矩阵；

步骤2：将光谱数据上传到Hadoop计算平台，进行分布式存储，并编写并行K-Means算法；

步骤2.1：将转换格式后的光谱数据上传到Hadoop计算平台，采用HDFS方式进行分布式存储；

步骤2.2：Master节点作为Namenode节点管理整个HDFS文件系统和目录树，剩余5个Datanode节点上存储一个光谱数据集的副本；

步骤2.3：采用Scala编写基于Hadoop平台的K-Means聚类算法，其中：

相似度距离使用欧几里得距离，

，式中：为第个元素，为第个质心点；

质心点更新使用平均值法，通过计算前一次聚类簇中所有样本坐标的平均值，确定下一次聚类质心点的坐标，具体如下：

，式中：为聚类元素个数；

步骤3：进行算法建模，针对作物光谱进行聚类分析；

步骤3.1：采用70%的数据进行模型训练；

步骤3.2：剩余30%的数据模型预测，得到预测结果。

2.根据权利要求1 所述的基于Hadoop框架的作物光谱聚类分析处理方法，其特征在于，光谱采集使用ASD FieldSpec® HandHeld™ 2 便携式光谱仪，采集波长为325nm-1075nm, 光谱分辨率小于 3nm, 积分时间为8.5ms。