[发明专利]一种基于自强化学习的遥感影像文本生成及优化方法

说明书

本发明提供了一种基于自强化学习的遥感影像文本生成及优化方法。所述的一种基于自强化学习的遥感影像文本生成及优化方法包括如下步骤：步骤S1、遥感影像语义理解特征提取；步骤S2、获取训练集，对文本生成模型进行预训练，提取文本生成模型参数；步骤S3、将提取的特征向量、先验文本库、预训练后的文本生成模型参数以及用户的任务需求，输入到遥感影像文本生成网络，通过深度学习自然语言处理技术，将提取的特征向量表示的图像特征信息还原为文本描述。本发明采用基于策略梯度算法的自强化学习遥感影像文本生成算法生成文本，提高遥感影像生成模型的训练效果，促使参数向期望值收敛，提高生成描述的准确性。

技术领域

本发明涉及遥感影像文本生成技术领域，特别涉及一种基于自强化学习的遥感影像文本生成及优化方法。

背景技术

现代航天遥感技术的高速进步，使得遥感卫星日趋成熟、遥感数据获取量成倍增长。然而，目前人们对航天遥感影像的推理与理解以检测和分类为主，其结果与高层信息之间仍存在较大差距。因此，面对如此海量的遥感影像数据，亟需具备与遥感影像获取速度相匹配的解译能力，如何在浩瀚的遥感影像中挖掘提取出高价值信息成为遥感领域进一步探索研究的方向。

航天遥感影像语义理解技术主要是指通过特征提取模型对遥感影像的低层特征进一步抽象，挖掘能够体现其本质属性的信息作为特征，利用更高层次的特征信息对遥感影像进行描述和表达，以便于对遥感影像进行准确理解和分析，同时避免冗余信息对实际应用造成不良影响，进而准确高效地完成影像分类、目标识别和检测等任务的方法。在上述基于影像智能化解译的空间信息智能一体化处理技术中，航天遥感影像语义理解技术的主要目的是通过挖掘遥感影像特征信息，生成可供遥感影像文本生成的特征向量，是航天遥感影像语义理解与文本生成技术的重要基础。

遥感影像语义理解与文本生成技术虽然取得了一定突破，但是图像描述领域存在几个关键问题悬而未决，始终制约着该技术进一步发展。主要的问题如下：

(1)遥感影像文本生成技术在训练阶段和验证阶段使用的评价指标不匹配。在训练阶段常用交叉熵损失作为损失函数训练模型参数，但是验证阶段使用的是BLEU(Bilingual Evaluation Understudy，双语评价方法)、ROUGE(Recall-OrientedUnderstudy for Gisting Evaluation，基于召回率的相似性度量方法)、CIDEr(Consensus-based Image Description Evaluation，一致性图像描述评估)、SPICE(Semantic Propositional Image Caption Evaluation，语义命题图像字幕评价)等评价指标，导致模型生成的描述性语句与训练样本在语义结构上可能存在差异，从而造成训练时损失值较低的语句在测试时难以取得相应效果。

(2)遥感影像文本生成模型无法进行误差修正。在训练阶段，每个时间步长的输入都源于训练文本中真实的描述，而生成描述语句的时候，每个生成的单词依赖于先前生成的单词，如果某个单词生成的质量较差，存在误差积累现象(Exposure bias)。

针对上述问题，解决思路是在训练时也采用相同的评价指标，即以CIDEr、SPICE的值作为训练阶段的损失函数，之所以不用BLEU和ROUGE作为损失函数是因为这两个指标更适用于机器翻译，在图像描述领域以CIDEr和SPICE作为主要评价指标更能代表模型的性能。通过最大化评价指标使得训练阶段和验证阶段相匹配。

计划采样法是一种经典的解决序列生成任务中训练和测试时输入数据分布不一致问题的方法，然而，由于生成文本描述的动作是不可微的，因此难以直接通过反向传播(Backpropagation)算法对损失函数进行优化。强化学习(Reinforcement Learning)能够直接用来优化不可微分的评价标准，因而可以较为理想地解决上述问题。