[发明专利]一种基于强化学习的高光谱图像波段选择方法

说明书

一种基于强化学习的高光谱图像波段选择方法，包含以下步骤：(1)读入原始的高光谱图像数据集；(2)以选择信息量大且冗余度小的波段组合为准则，计算波段间的光谱信息增益；(3)基于马尔科夫决策过程在步骤(2)计算光谱信息增益的基础上设计强化学习波段选择环境模型，得到量化后波段选择模型的数学表达；(4)通过迭代求解模型最大化累计奖励期望对应的价值函数来获得最优波段组合，建立基于深度Q网络的强化学习波段选择方法；(5)引入目标网络机制和经验回放机制来获取相互独立的交互数据，实现迭代求解的稳定收敛；(6)引入ε‑贪心策略进行深度试错探索，实现决策训练过程中探索和应用的平衡；(7)以无监督的方式完成基于深度Q网络的强化学习波段选择模型的训练，得到最优波段组合。

技术领域

本发明涉及一种基于强化学习的高光谱图像波段选择方法，属于高光谱数据处理方法与应用技术领域，适用于高光谱数据波段选择方法和应用技术研究。

背景技术

高光谱数据具有数百个相邻且狭窄的光谱通道，其高维特性为区分不同的地表覆盖类型提供了丰富的信息，由于高光谱图像具有较高的光谱分辨率，使得利用多光谱图像不能解决的问题得以解决；比如高光谱图像不仅可以区分各类地物目标，而且可以辨识地物目标，这使得高光谱遥感图像在目标分类、识别等方面具有重要的实用意义和研究价值；然而，高光谱图像较高的光谱分辨率是以较高的数据维和较大的数据量为代价的，这样给高光谱图像的处理带来了很多问题，例如信息的冗余度增大，数据的存储所需空间大，数据的处理时间长，且在图像样本数较少的情况下，易产生“维数灾难”现象或者“休斯”现象，同时对传统的遥感图像处理技术提出了新的挑战，因此，在保证地物目标有用信息尽量少丢失的情况下，减少高光谱图像的波段数是极其必要的。

虽然现有波段选择方法处在快速发展中，但是还没有一个通用的模型具有自主学习的能力，基于排序的方法都是基于人类专家的领域知识反复试验设计的，而基于启发式搜索的波段选择方法在进行搜索策略时极易陷入局部最优解，基于深度学习的方法多为监督式且模型泛化能力差，调优困难。

强化学习系统是根据自己的经验进行训练的，原则上允许其在缺乏人类专业知识的领域任务中运行，强化学习最大的两个特征是试错学习和考虑长远收益，且不需要预期奖励是可微的，可以直接处理离散空间中的搜索问题，能够对空间进行深度的探索，可以通过其自主学习的能力来决策新的波段选择策略，而无需任何的人工推理。

发明内容

本发明的目的在于针对高光谱数据应用过程中的维度灾难、冗余度高、计算复杂度高的问题，提供一种基于强化学习的高光谱图像波段选择方法。

本发明的技术解决方案为：设计基于马尔科夫决策过程的强化学习波段选择环境模型，得到量化后波段选择模型奖励函数、状态空间、动作空间的数学表达，利用强化学习的试错学习和考虑长远收益的能力来解决现有波段选择方法中空间搜索和决策优化有限的问题，赋予波段选择模型自主学习的能力；设计基于深度Q网络的强化学习波段选择方法进行最优价值函数的迭代求解，引入经验回放和目标网络的机制，实现网络迭代求解的稳定收敛，引入ε-贪心策略，使智能体在初始阶段进行深度动作探索，实现了智能体决策过程中探索与应用之间的平衡，以无监督的方式完成对基于深度Q网络的强化学习波段选择模型的训练，输出最优决策策略对应的动作，解决标记样本不足的问题，得到该策略下的最优波段组合。

本发明是一种基于强化学习的高光谱图像波段选择方法，其步骤如下：

(1)读入原始的高光谱图像数据集；

(2)以选择信息量大且冗余度小的波段组合为准则，计算波段间的光谱信息增益；

(3)基于马尔科夫决策过程在步骤(2)计算光谱信息增益的基础上设计强化学习波段选择环境模型，得到量化后波段选择模型的数学表达；

(4)通过迭代求解模型最大化累计奖励期望对应的价值函数来获得最优波段组合，建立基于深度Q网络的强化学习波段选择方法；