[发明专利]一种高光谱波段选择方法、装置、设备及存储介质

说明书

本申请提供了一种高光谱波段选择方法、装置、设备及存储介质，其中，高光谱波段选择方法包括：读取高光谱地物实测的波段数据及矿物组分数据；判断高光谱地物实测的波段数据的数据量和矿物组分数据的数据量是否超出主机的内存，若超出，则根据预设阈值对高光谱地物实测的波段数据和矿物组分数据进行数据分块；根据分块后的数据构建数据并行和任务并行结合的高光谱波段选择模型；根据分块后的高光谱地物实测的波段数据及矿物组分数据；输出高光谱地物实测的波段数据与矿物组分数据的最大相关系数以及最大相关系数对应的波段范围。本申请能够有效地提升海量高光谱影像数据波段选择阶段的速率。

技术领域

本申请涉及遥感数据处理技术领域，具体而言，涉及一种高光谱波段选择方法、装置、设备及存储介质。

背景技术

高光谱遥感数据包括了空间、辐射和光谱三重信息，行业应用中的数据量已经达到TB级，已经达到海量数据级别。数据的海量特性严重制约了应用的拓展和实际工程应用效率的提高。在高光谱的波段选择中，如果采用传统的串行方式进行，其运算量将达到数亿次浮点乘加操作；大量数据操作和处理的复杂性决定了高光谱遥感图像数据处理具有很强的计算性，普通计算机和价格昂贵的专用硬件系统远远无法满足遥感数据处理日益增长的需求。

由于高光谱遥感数据对应几百乃至上千波段不等的数据，波段之间的数据具有关联性，需要将光谱维数据和空间维数据综合使用，高光谱遥感借助成像光谱技术能够获取丰富的地物反射的光谱信息，这为像元级地物类型甚至亚像元级地物识别提供了可能。但是丰富的光谱信息同时也意味着高光谱数据量大、维数高，这给高光谱图像处理带来了巨大的挑战。波段选择本身具有一定的时间复杂度，分析大多数波段选择方法可以发现波段选择过程具有波段数据并行处理的特点，非常适合多CPU协同并行计算。

遥感技术经过多年的发展,基于高分辨率遥感图像，并行计算波段选择有大量已有的方法和应用。目前针对高光谱遥感影像的方法主要分为两类：

第一类方法，利用单CPU串行循环提取高光谱数据与矿物组分数据计算相关系数。这种方法在数据量小的情况下速率问题可忽略，但是在数据量大的情况下耗时长。

第二类方法，基于MPI(Message Passing Interface)的并行运算机制，实现同步和进程间通信功能，相较于第一类方法大大增强了计算效率，然而在波段选择时，需要迭代计算的波段选择方法中使用迭代的波段运算中效果不佳，在数据量大的情况下表现难以达到预期效果。

第三类方法，使用GPU进行遥感高光谱图像波段选择处理。虽然使用GPU计算速度快，但是针对高光谱波段选择的应用中不合适，GPU适合图像处理。

基于以上波段选择方法的耗时长、迭代效果差、不适用与波段选择的问题，为了实现真正业务化需要，亟需提供基于数据并行和任务并行结合的高光谱波段处理方法。该方法有效地解决了上述传统高光谱数据波段选择效率低下的问题，能够基于数据并行和任务并行的方法能够充分利用电脑有限的CPU资源进行计算。

发明内容

本申请实施例的目的在于提供一种高光谱波段选择方法、装置、设备及存储介质，用以使用数据并行和任务并行的方法解决高光谱数据波段选择速率低下问题，进而解决了目前基于大数据下高光谱波段选择中，由于数据量过大而导致的处理速度低下，业务化程度不高这一技术问题。

为此，本申请第一方面公开一种高光谱波段选择方法，所述方法包括：

读取高光谱地物实测的波段数据及矿物组分数据；

判断所述高光谱地物实测的波段数据的数据量和所述矿物组分数据的数据量是否超出主机的内存，若超出，则根据预设阈值对所述高光谱地物实测的波段数据和所述矿物组分数据进行数据分块；

根据分块后的数据构建数据并行和任务并行结合的高光谱波段选择模型；

根据所述高光谱波段选择模型处理分块后的所述高光谱地物实测的波段数据及所述矿物组分数据；