[发明专利]高低层特征融合的注意力遥感图像描述的生成方法及系统

说明书

一种高低层特征融合的注意力遥感图像描述的生成方法及系统，包括：获取待测遥感图像；基于所述待测遥感图像和预先训练好的图像描述模型得到所述待测遥感图像的自然语言句子描述；其中，所述图像描述模型由利用卷积网络构建的编码器、高低层特征融合的注意力以及利用循环递归网络构建的解码器构建而成。本发明提供的技术方案充分利用了图像浅层特征的局部细节信息和高层特征的全局语义信息，给予了传统的注意力机制全局和局部双意识，从而更准确理解图像所表达的语义内容，以及该语义内容与自然语言句子之间的相互关系，进而为遥感图像生成内容准确的自然语言句子描述。

技术领域

本发明涉及一种图像描述领域，具体讲涉及一种高低层特征融合的注意力遥感图像描述的生成方法及系统。

背景技术

遥感图像描述生成(Remote Sensing Description Generation,RSDG)是遥感图像领域的一个重要组成部分，要解决的主要问题是理解遥感图像的语义内容，然后为遥感图像生成自然语言句子描述。因此遥感图像描述生成要解决的一个首要问题是遥感图像语义的理解，这有助于机器理解人类视觉捕获图像特征的方式；其次，相对于遥感图像领域的其他问题，例如场景分类(Scene Classification)，目标检测(Object Detection)、语义分割(Semantic Segmentation)等任务都需要理解图像的内容，其中场景分类需要对遥感图像的场景进行分类，目标检测需要定位遥感目标的位置并识别该目标的种类，语义分割需要区分前景背景的像素类别。而遥感图像描述生成不仅需要理解遥感图像的语义内容，还需要生成自然语言句子描述，该描述不仅要说明该遥感图像的场景类别，还需要对场景中所包含的目标类别以及目标与场景背景之间的相互关系进行描述。因此，遥感图像描述生成一直是遥感图像领域探索的一个重要研究方向。目前，关于遥感图像描述生成的方法主要有以下方法：

1)基于句子模板的方法

基于句子模板的方法主要是通过人为预先设计的句子模板，把从图像中把遥感目标及其属性和状态识别出来并用单词形式表示，然后填充到句子模板中去，作为输入遥感图像的自然语言句子描述。

2)基于句子检索的方法

基于句子检索的方法，它先是选出一些与输入的遥感图像最相似图像，然后从这些相似图像的句子描述中选出最能够很好的描述输入图像句子，作为该输入遥感图像的自然语言描述。

3)基于句子生成的方法

基于句子生成的方法，它采用了经典的编解码结构(Encoder-Decoder)，利用卷积神经网络(Convolutional Neural Network)作为编码器来对遥感图像特征进行提取，然后利用循环递归网络(Recurrent Neural Network)。

上述遥感图像描述生成方法都是采用现成的句子或者预先定义的句子模板，而在实际条件下，同一张图像可以用不同的自然语言句子来描述。这些方法都不能够描述输入遥感图像本身特有的细节信息，而且得到的自然语言句子描述的多样性受限，因此这些方法生成的描述不能够很好的描述输入遥感图像。

发明内容

为解决现有技术中存在的不能够很好的描述输入遥感图像的问题，本发明提供了一种高低层特征融合的注意力遥感图像描述的生成方法，包括：

获取待测遥感图像；

基于所述待测遥感图像和预先训练好的图像描述模型得到所述待测遥感图像的自然语言句子描述；

其中，所述图像描述模型由利用卷积网络构建的编码器、高低层特征融合的注意力以及利用循环递归网络构建的解码器构建而成。

优选的，基于所述待测遥感图像和预先训练好的图像描述模型得到所述待测遥感图像的自然语言句子描述，包括：