[发明专利]一种基于Hadoop的多光谱遥感影像分类处理方法

摘要

本发明涉及遥感分类与计算机分布式计算技术的交叉领域，尤其涉及一种基于Hadoop的多光谱遥感影像分类处理方法，其不同之处在于，其方法包括以下步骤步骤a）、首先在单个工作子节点进行分类模型的构建；步骤b）、然后利用分布式框架的心跳消息通信机制将分类模型发送到各个作业节点，作业节点接收到分类模型文件之后开始并发进行影像块分类任务；步骤c)、最后将各分块分类结果归约为一个完整的分类结果图。本发明大幅提高了在对海量遥感影像数据进行分类时的分类速度。

主权项

一种基于Hadoop 的多光谱遥感影像分类处理方法，其特征在于，其方法包括以下步骤：步骤a）、首先在单个工作子节点进行分类模型的构建；步骤b）、然后利用分布式框架的心跳消息通信机制将分类模型发送到各个作业节点，作业节点接收到分类模型文件之后开始并发进行影像块分类任务；步骤c)、最后将各分块分类结果归约为一个完整的分类结果图；其中，所述步骤a）包括以下具体步骤：步骤a1）、将待分类影像和分类相关数据传入任意一个作业节点，作业节点每隔一定的时间就会向任务管理中心发出心跳消息，向任务管理中心反馈作业节点的工作状态、数据更新信息、作业节点是否正常信息；步骤a2）、任务管理中心持续接收作业节点传来的心跳消息，判断作业节点中的数据是否有更新；如果某个作业节点数据有更新，任务管理中心将复制一份分类模型提取程序包给该作业节点，并指示该作业节点对新的影像数据提取分类模型；与此同时向工程中心发出消息，告知工程中心对新数据进行划分；步骤a3）、作业节点接收到分类模型提取程序包，启动一个Java 虚拟机本地解压并对新影像执行分类模型提取；工程中心接收到作业节点数据更新消息，对新影像进行逻辑分块，并把逻辑分块文件存储；步骤a4）、作业节点完成分类模型提取，通过心跳消息告知任务管理中心；其中，数据交换中心连接任务管理中心、工程中心和所有作业节点，数据交换中心中任两节点都能通过数据交换中心相互连通，数据交换中心由一定数量的网络交换机组成；任务管理中心负责调度每一个子任务运行在作业节点上，并实时监控作业节点工作状况，如果发现有失败的子任务就重新运行它，把任务管理中心部署在单独的机器上；工程中心对影像进行逻辑划分，默认将影像划分为若干64M 的影像块，每一个任务都会在工程中心将引用程序以及配置参数打包成Java 文件存储起来，并把路径提交给任务管理中心，工程中心布置在用户端；作业节点是架构中运算和存储的基础单位，遥感数据可以由任意一个作业节点进入，作业节点负责整景遥感数据分类模型训练，以及影像块分类任务，架构中作业节点可以有N 个，其中，N ≥ 2，作业节点数量与分类速度成正比关系；任务管理中心与作业节点之间，工程中心与任务管理中心之间都通过心跳机制相互通信，心跳机制是一个简单的循环，定期发送心跳给接收方，发送心跳消息，告诉心跳接收方，作业节点是否存活，同时充当两者之间的消息通道，心跳接收方接收到最新的心跳消息，通过心跳返回值做出相应的动作指令。