[发明专利]一种基于编-解码器结构的可控图像字幕生成优化方法

权利要求书

1.一种基于编-解码器结构的可控图像字幕生成优化方法，其特征在于，该方法包括：

构建图像编码器，用于进行目标检测并提取各目标区域的图像特征，得到各目标区域的特征向量；

采用排序网络对目标区域进行排序；

构建图像解码器，将排序后的目标区域的特征向量输入至图像解码器，解码输出图像字幕。

2.根据权利要求1所述的一种基于编-解码器结构的可控图像字幕生成优化方法，其特征在于，所述的图像编码器包括用于提取图像一般性特征的第一网络、用于提取图像视觉常识性特征的第二网络以及对特征进行融合的融合器，所述的第一网络和第二网络通过共享边界框坐标来保证提取的是相同目标区域的特征。

3.根据权利要求2所述的一种基于编-解码器结构的可控图像字幕生成优化方法，其特征在于，所述的第一网络包括Faster R-CNN网络。

4.根据权利要求2所述的一种基于编-解码器结构的可控图像字幕生成优化方法，其特征在于，所述的第二网络包括VC R-CNN网络。

5.根据权利要求1所述的一种基于编-解码器结构的可控图像字幕生成优化方法，其特征在于，所述的图像解码器采用改进激活函数的LSTM神经网络，改进的激活函数为m-Tanh激活函数，表示为：

其中，x为输入，Hx()为输出，m为常数。

6.根据权利要求5所述的一种基于编-解码器结构的可控图像字幕生成优化方法，其特征在于，利用m-Tanh激活函数更新LSTM神经网络细胞状态的具体方式为：

其中，x_t为t时刻输入的目标区域的特征向量，h_t-1为t-1时刻隐藏层的状态，W_c、分别表示网络的权重和偏差参数，f_t、i_t分别表示t时刻的遗忘门向量和输入门向量，C_t-1、C_t分别表示t-1时刻、t时刻的细胞状态更新向量，分别表示t-1时刻、t时刻的细胞状态初始向量。

7.根据权利要求6所述的一种基于编-解码器结构的可控图像字幕生成优化方法，其特征在于，利用m-Tanh激活函数更新LSTM神经网络隐藏层状态的具体方式为：

其中，h_t为t时刻隐藏层的状态，o_t为t时刻输出门向量。

8.根据权利要求1所述的一种基于编-解码器结构的可控图像字幕生成优化方法，其特征在于，当采用不同的图像编码器、排序网络、图像解码器生成不同的图像字幕后，多分枝决策输出算法来选出最优的图像字幕。

9.根据权利要求8所述的一种基于编-解码器结构的可控图像字幕生成优化方法，其特征在于，多分枝决策输出算法具体为：

对各情况下输出的图像字幕进行评价获取评价指标向量；

基于评价指标向量对图像字幕两两进行比对，选出最优的图像字幕。

10.根据权利要求9所述的一种基于编-解码器结构的可控图像字幕生成优化方法，其特征在于，对图像字幕两两比对的具体方式为：

对评价指标向量中的每个指标进行对比，若第一图像字幕中的各个评价指标均大于第二图像字幕的各个评价指标，则优选第一图像字幕，若第二图像字幕中的各个评价指标均小于第二图像字幕的各个评价指标，则优选第二图像字幕，否则，根据各个评价指标的重要程度为各个评价指标设置权重，对评价指标向量中的评价指标进行加权求和，优选加权求和结果较大的图像字幕。