[发明专利]一种基于自强化学习的遥感影像文本生成及优化方法

权利要求书

1.一种基于自强化学习的遥感影像文本生成及优化方法，其特征在于，包括如下步骤：

步骤S1、遥感影像语义理解特征提取：将经过星上数据预处理及切片处理的航天遥感影像输入特征提取网络，提取对遥感影像进行语义理解的特征向量；

步骤S2、通过遥感影像获取训练集，对由遥感影像文本生成网络构成的文本生成模型进行预训练，提取文本生成模型参数；

步骤S3、将提取的特征向量、先验文本库、预训练后的文本生成模型参数以及用户的任务需求，输入到遥感影像文本生成网络，通过深度学习自然语言处理技术，将提取的特征向量表示的图像特征信息还原为文本描述；

所述先验文本库为训练集中附带的对应遥感影像的文本描述；

所述预训练后的文本生成模型参数为预训练特征提取模型参数；

所述遥感影像文本生成网络将图像特征信息还原为文本描述包括如下步骤：

步骤S31、通过遥感影像文本生成网络将图像特征信息还原为单词；

步骤S32、通过自强化模块对生成的单词进行优化，采用基于策略梯度算法的自强化学习遥感影像文本生成算法生成文本：在由所述遥感影像文本生成网络构成的文本生成模型中，通过文本生成的过程中，将所述先验文本库中采样的单词不断地与文本生成模型中生成的单词进行比较，奖励描述准确的单词，抑制描述不准确及错误的单词，以提高训练过程的收敛速度，并优化文本生成描述的质量。

2.根据权利要求1所述的一种基于自强化学习的遥感影像文本生成及优化方法，其特征在于，所述步骤S32中的采用所述基于策略梯度算法的自强化学习遥感影像文本生成算法生成文本，具体步骤为：

步骤S321、初始化参数，并根据策略采样；

文本生成模型定义为智能体agent，先验文本中的描述词和遥感影像特征定义为“环境”，模型参数θ看作策略p_θ，生成单词的评价指标看作奖励值R_t，执行的动作看作预测的下一个单词；每经历一个动作，agent更新内部状态，每正确生成一个单词序列，agent得到一个正向激励；

步骤S322、计算期望函数；

期望函数表示为：

L(θ)＝-E_W-p[R(W)]

其中，W＝(W₁,W₂,...,W_t)，W_t表示t时刻从文本生成模型采样的单词，R(W)表示生成单词的评价指标，也即强化学习中的奖励值，训练的目标是最小化负期望函数；

步骤S323、引入策略梯度算法计算期望梯度：

式中，p_θ(W)表示表示单词采样过程中的模型参数,表示表示对θ计算期望梯度；

对于minibatch中每个训练样例有：

步骤S324、计算基线减小方差；

在策略梯度算法中引入基线来减小方差，得到每个动作对于基线的奖励：

由于基线b可以是不依赖于动作W_t的任意函数，期望梯度不受基线b影响，并且能够减小梯度估计的方差；

对于每个训练样例，采用单个采样W～p_θ近似估计期望梯度：

根据链式法则和模型参数p_θ可得：

其中，S_t是经过GRU注意力机制后文本生成模型的输入，则有：

上式计算了期望函数关于输入的梯度值，其中W_t¹是单词的one-hot向量表示，H_t代表t时刻的隐状态；

步骤S325、计算奖励值R_t并更新模型参数θ；

为了在不额外增加大量参数的前提下提升模型性能，自强化学习通过采用遥感影像文本生成过程中生成单词的奖励值作为基线；当生成单词优于基线时，该单词得到正向激励，否则，该单词得到抑制，以此更新模型参数；

步骤S326、当达到最大迭代次数时，输出模型参数；否则返回步骤S321。