[发明专利]高低层特征融合的注意力遥感图像描述的生成方法及系统

权利要求书

1.一种高低层特征融合的注意力遥感图像描述的生成方法，其特征在于，包括：

获取待测遥感图像；

基于所述待测遥感图像和预先训练好的图像描述模型得到所述待测遥感图像的自然语言句子描述；

其中，所述图像描述模型由利用卷积网络构建的编码器、高低层特征融合的注意力机制以及利用循环递归网络构建的解码器构建而成；

基于所述待测遥感图像和预先训练好的图像描述模型得到所述待测遥感图像的自然语言句子描述，包括：

基于预先训练好的编码器对所述待测遥感图像进行特征提取，由高层网络得到所述待测遥感图像的全局特征，由底层网络得到所述待测遥感图像的局部细节特征，以及每个特征对应的语义表示；

利用高低层特征融合的注意力对待测遥感图像的全局特征和局部细节特征的语义表示进行不同程度的关注，得到显著图像特征；

利用预先训练好的解码器，对所述显著图像特征进行解码生成所述待测遥感图像的自然语言句子描述；

所述利用高低层特征融合的注意力对各特征的语义表示进行不同程度的关注，得到显著图像特征，包括：

基于所述全局特征采用注意力权重计算公式计算所述待测遥感图像的局部细节特征的注意力权重；

基于所述局部细节特征和所述注意力权重得到所述待测遥感图像的显著图像特征；

所述注意力权重计算公式如下式所示：

α_t＝h_tW₁[I_middle；W₂I_high]

式中，α_t：注意力权重；W₁和W₂是权重大小；I_high遥感图像的全局特征；I_middle遥感图像的局部细节特征；h_t解码器在上一时刻隐藏状态的输出。

2.如权利要求1所述的注意力遥感图像描述的生成方法，其特征在于，所述编码器的训练包括：

获取遥感图像的图像数据以及对应的自然语言句子描述数据；

将所述遥感图像数据进行切割得到图像切片数据；

由所述图像切片数据以及对应的自然语言句子描述数据分别构建遥感图像数据集和对应的自然语言句子描述数据集；

将所述遥感图像数据集和对应的自然语言句子描述数据集按照设定比例划分为训练集、检测集和测试集；

基于训练集中的所述遥感图像数据及对应的自然语言句子描述数据对所述编码器进行训练；

并基于所述检测集和测试集对所述编码器进行检测和测试得到训练好的编码器。

3.如权利要求2所述的注意力遥感图像描述的生成方法，其特征在于，所述编码器采用深度网络模型或残差网络模型。

4.如权利要求1所述的注意力遥感图像描述的生成方法，其特征在于，所述解码器的训练包括：

将遥感图像对应的自然语言句子描述数据转换为由单词组成的句子序列；由所述解码器的embedding层将所述句子序列中的单词进行词嵌入处理，得到词嵌入向量；

将所述词嵌入向量和所述显著图像特征进行拼接作为所述解码器的输入；

所述解码器根据上一时刻隐藏状态向量预测下一个时刻的隐藏状态，然后将所述隐藏状态通过变换矩阵映射到与字典维度相同的空间里；

通过SoftMax函数预测下一个时刻输出的单词的概率分布；

根据所述预测下一个时刻输出的单词的概率分布采用贪婪算法选取最大概率分布对应的单词作为当前时刻预测得到的单词；

把当前时刻所有预测得到的单词进行拼接操作，组成完整的句子作为所述解码器的输出。

5.如权利要求4所述的注意力遥感图像描述的生成方法，其特征在于，所述利用预先训练好的解码器，对所述显著图像特征进行解码生成所述待测遥感图像的自然语言句子描述，包括：

基于训练好的所述解码器上一时刻隐藏状态特征向量预测下一时刻隐藏状态特征向量；

将所述待测遥感图像的显著图像特征与预测下一时刻所述隐藏状态特征进行拼接，得到当前时刻解码器的输入量；

由所述预先训练好的解码器对所述待测遥感图像进行解码生成所述待测遥感图像的自然语言句子描述。