[发明专利]一种基于多尺度分层残差网络的图像多字幕自动生成方法

权利要求书

1.一种基于多尺度分层残差网络的图像多字幕自动生成方法，包括以下步骤：

(1)设计多字幕生成模型：所述多字幕生成模型包括用于图像特征图提取与目标检测的卷积神经网络检测模型、用于字幕预测的循环神经网络预测模型复合而成；

在所述卷积神经网络检测模型中，将卷积神经网络中的残差块修改为密集连接聚合残差块；

在所述循环神经网络预测模型中，将循环神经网络的相邻两层之间提供一个梯度传播捷径；所述卷积神经网络检测模型包括设于残差块后的漏斗结构；当图像分辨率降到最低后网络开始上采样，融合不同尺度的特征，上采样方式为元素级相加，得到的不同尺度特征图用来获取多尺度候选框，漏斗的拓扑结构是对称的；

所述多字幕生成模型的损失函数L定义为：

L＝L_det+αL_bbox+βL_cap

其中，L_det、L_bbox和L_cap分别为检测损失、边框定位损失、标题预测损失，α和β是影响因子；

(2)生成多字幕：利用合格的训练样本对所述多字幕生成模型进行训练，得到训练好的多字幕生成模型，测试时候给定待生成字幕图像，将训练好的多字幕生成模型执行前向传递，得到多字幕生成结果；

所述密集连接聚合残差块为：

将卷积神经网络的残差块中的依次连接的3层基础卷积层Conv¹、Conv²、Conv³分别划分成n个并行的小基础卷积层Conv¹_i、Conv²_i、Conv³_i，并以序号相同的小基础卷积层Conv¹_i、Conv²_i、Conv³_i依次连接形成残差小块，n个残差小块并联融合成聚合残差块，i＝1,2,3,……,n，且聚合残差块的连接顺序为归一化层-激活层-卷积层；

在所述小基础卷积层Conv²_i与所述聚合残差块的前一网络层之间设有一条梯度传播捷径，形成密集连接聚合残差块。

2.如权利要求1所述的基于多尺度分层残差网络的图像多字幕自动生成方法，其特征在于，对所述多字幕生成模型进行训练的过程为：

对于卷积神经网络检测模型，利用ImageNet数据集上训练的权值和服从标准差为0.01的高斯分布的权值初始化网络；

对于循环神经网络预测模型，采用Visual Genome和MS-COCO数据集对该预测模型进行微调。

3.如权利要求1所述的基于多尺度分层残差网络的图像多字幕自动生成方法，其特征在于，所述检测损失L_det、边框定位损失L_bbox、标题预测损失L_cap分别为：

检测损失

其中，c_i是检测框i所属的实际前景/背景信息，p_i是预测的前景概率；

边框定位损失

其中，G_i是物体i在图像中的实际位置，P_i是预测的物体i在图像中的位置；

标题预测损失

其中，w_i是真实字幕中第i个单词信息，r_i是预测的第i个单词概率。

4.如权利要求1所述的基于多尺度分层残差网络的图像多字幕自动生成方法，其特征在于，所述影响因子α取值为0.05～0.15，影响因子β取值为0.01～0.1。

5.如权利要求4所述的基于多尺度分层残差网络的图像多字幕自动生成方法，其特征在于，所述影响因子α取值为0.1，影响因子β取值为0.05。