[发明专利]具备多语义层级注意能力的遥感影像文本描述生成方法

说明书

本发明公开了一种具备多语义层级注意能力的遥感影像文本描述生成方法，该方法利用物体检测深度神经网络的强大物体定位能力，对遥感影像中潜在的物体区域进行框选，并根据这些区域的特征组合出多层视觉元素网格系统；在进行描述语句生成时，根据上下文信息自动关注多层视觉注意力网格系统中的对应区块，实现更为精准的视觉注意力聚焦，进一步带来更为恰当的词汇估计，更为准确、全面的对遥感图像进行描述。本发明相较于传统的单一尺度、稀疏网格的空间注意区块划分有了更精准的聚焦能力和联合多层语义表达能力。

技术领域

本发明属于机器学习技术领域，具体涉及一种遥感影像文本描述生成方法。

背景技术

遥感影像文本描述生成是一种新兴的遥感影像视觉理解任务。该任务要求描述生成器具备对遥感影像的语义特征的深入理解能力，并在此基础上输出符合人类语言规律的描述性语句。遥感影像文本描述生成相较于一般图像的描述生成，有以下难点：

第一，遥感影像覆盖空间尺度大，地面元素组成复杂，全面理解困难；

第二，图像间的语义分布及密度差异明显，如沙漠和城市；

第三，地面物体与全局的关系、地面物体之间的复杂组织关系难以建模。

为自动化地实现这一任务，早期的遥感描述文本生成器大多采用基于模板的方法或基于检索的方法，如“S.Li,G.Kulkarni,T.L.Berg,A.C.Berg,and Y.Choi,“Composingsimple image descriptions using web-scale n-grams,”inProc.Conf.Comput.Natural Lang.Learn.,2011,pp.220–228”及“V.Ordonez,G.Kulkarni,and T.L.Berg,“Im2text:Describing images using 1million captionedphotographs,”in Proc.Adv.Neural Inf.Process.Syst.,2011,pp.1143–1151”。但是这些方法的性能普遍不甚理想，现在基本上已经被基于编码器—解码器的方法所替代，如“X.Lu,B.Wang,X.Zheng,and X.Li,“Exploring models and data for remote sensingimage caption generation,”IEEE Trans.Geosci.Remote Sens.,vol.56,no.4,pp.2183–2195,2017”中所描述的方法。

基于解码器编码器的方法主要由两个阶段构成：(1)输入图像进入特征提取器(编码器)得到特征；(2)特征输入解码器并按顺序逐词输出每个估计的词汇。在估计的词汇输出的过程中，输出当前词汇会考虑和上一词汇的联系。由于画面的图像元素众多，全图的特征包含的语义信息较多，难以实现具体目标的表达，引入空间注意力机制可以较好的对具体目标进行聚焦。目前的空间注意力机制为了考虑算法运算量，实现大多将图像划分为一个低分辨率网格(一般为14×14或7×7)，在这个网格中实现特征提取权重的重新分配。通过引入空间注意力机制，上述问题得到了一定程度上的缓解。但是由于较低的网格分辨率和固定的网格尺寸，导致对于元素尺寸多样的遥感影像并不能取得足够合理与精细的区域关注，也就难以实现理想的描述语句生成。

发明内容

为了克服现有技术的不足，本发明提供了一种具备多语义层级注意能力的遥感影像文本描述生成方法，该方法利用物体检测深度神经网络的强大物体定位能力，对遥感影像中潜在的物体区域进行框选，并根据这些区域的特征组合出多层视觉元素网格系统；在进行描述语句生成时，根据上下文信息自动关注多层视觉注意力网格系统中的对应区块，实现更为精准的视觉注意力聚焦，进一步带来更为恰当的词汇估计，更为准确、全面的对遥感图像进行描述。本发明相较于传统的单一尺度、稀疏网格的空间注意区块划分有了更精准的聚焦能力和联合多层语义表达能力。

本发明解决其技术问题所采用的技术方案包括以下步骤：