[发明专利]基于注意力机制和深度学习的遥感图像自然语言生成方法

摘要

本发明公开一种基于注意力机制和深度学习的遥感图像自然语言生成方法，该方法包括以下步骤：步骤一、预处理遥感图像和对应的自然语言描述。步骤二、将降噪后的遥感图像输入到密集定位卷积神经网络(Intensive Positioning Convolution Neural Network，简称IPCNN)中。步骤三、将步骤二获得的区域块输入到重分配长短期记忆网络(Reassignment Long‑Short Term Memory，简称RLSTM)中。进入到RLSTM的权重分配层中，利用多层网络函数分别求得每个区域的权重，最后通过RLSTM的深度输出层实现自然语言描述的整体输出。步骤四、将步骤三中生成的自然语言描述输入遥感图像语言描述打分模型，得到句子的打分。步骤五、将目标位置、类别标签和自然语言描述得分输入到数据库中，等待调用。

主权项

一种基于注意力机制和深度学习的遥感图像自然语言生成方法其特征在于：至少包括以下步骤：步骤一、预处理遥感图像和对应的自然语言描述，对遥感图像进行降噪处理，把自然语言描述切片，将字符构建成一个字典以备后续调用步骤二、将降噪后的遥感图像输入到密集定位卷积神经网络(Intensive Positioning ConvolutionNeural Network，简称IPCNN)中，图像在经过IPCNN前面的卷积层和池化层之后，进入到IPCNN的密集定位层，密集定位层接收到的是有关激活值的输入张量，它能够识别感兴趣的空间区域并且从每一个区域平滑得提取一个固定尺寸的表示，最后通过IPCNN的识别网络将来自密集定位层的每个区域的特征扁平化后，获得区域块步骤三、将步骤二获得的区域块输入到重分配长短期记忆网络(Reassignment Long‑Short Term Memory，简称RLSTM)中，首先进入到RLSTM的权重分配层中，将一个区域块均匀地切割成多个区域，并且对每个区域的标签进行编码，接着获取这个区域块在多层网络中的不同时刻的隐藏状态与分割成的每个区域的编码，利用多层网络函数分别求得每个区域的权重，接着整合这些区域的权重得到整张图片关于这个区域块信息的动态表示，然后将这些信息的动态表示输入到RLSTM的循环神经网络中，最后通过RLSTM的深度输出层实现自然语言描述的整体输出步骤四、将步骤三中生成的自然语言描述输入遥感图像语言描述打分模型，考虑生成的自然语言描述C的任一单词序列，首先计算其在C中出现的次数，然后统计其在各参考句子中分别出现的次数的最大值，将该值与次数的较小者记作该单词序列的匹配次数，之后，再把每个单词序列的计算结果累加起来，乘一个惩罚因子得到句子的打分步骤五、将目标位置、类别标签和自然语言描述得分输入到数据库中，如果有搜索特定标签则输出特定标签下得分前十的句子，否则输出所有语句中得分前十的句子。