[发明专利]图像描述模型的训练方法及装置

说明书

本发明公开了一种图像描述模型的训练方法，包括以下步骤：接收若干训练图像，抽取每个训练图像对应的感兴趣区域特征向量、类别特征词向量和图像实体特征向量；创建图像描述模型，图像描述模型包括：包含有若干层编码模块的编码装置、包含有若干层解码模块的解码装置、自注意力机制特征融合层和多维度卷积核特征抽取器；编码模块包括多维度卷积核特征抽取器、两个Self Attention特征抽取器和简单前馈网络；解码模块包括多维度卷积核特征抽取器、带掩码的multi‑head attention特征抽取器、两个multi‑head attention特征抽取器和简单前馈网络组成；编码装置和编码装置之间由自注意力机制特征融合层衔接；基于若干训练图像对图像描述模型进行交叉熵损失和强化学习的训练；从而提供一种训练方法。

技术领域

本发明涉及图像描述技术领域，尤其涉及图像描述模型的训练方法及装置。

背景技术

图像描述(Image Caption)的主要目的是为图像生成自然语言描述，进而通过该自然语言描述，可以帮助应用程序理解图像视觉场景中表达的语义。例如，图像描述可以将图像检索转换为文本检索，用于对图像进行分类并改善图像检索结果。

早期图像描述的方法可以概括为：从图像中提取对象和属性，然后将获得的对象和属性填充到预定义的句子模板中。随着深度学习的普及，现代的图像描述方法主要采用编码器-解码器体系结构，其中卷积神经网络(Convolutional Neural Network，CNN)通常用作特征提取的编码器，而递归神经网络(Recursive Neural Network，RNN)作为生成描述的解码器。编码器-解码器体系结构可以生成超出预定义模板的描述语句，大大提高了所生成语句的多样性。

在现有技术中，编码器-解码器图像描述模型通常基于图像中提取的全局特征来生成图像描述，即使注意机制与编码器-解码器体系结构结合在一起，从全局特征中提取感兴趣区域特征以关注图像感兴趣区域，生成过程中仍然损失了图像视觉场景中的大量详细信息。

发明内容

有鉴于此，本发明的主要目的在于提供一种图像描述模型的训练方法及装置。

为达到上述目的，本发明的技术方案是这样实现的：一种图像描述模型的训练方法，包括以下步骤：

接收若干训练图像，抽取每个训练图像对应的感兴趣区域特征向量、类别特征词向量和图像实体特征向量；

创建图像描述模型，所述图像描述模型包括：包含有若干层编码模块的编码装置、包含有若干层解码模块的解码装置、自注意力机制特征融合层和第一多维度卷积核特征抽取器；所述编码模块包括第二多维度卷积核特征抽取器、第一Self Attention特征抽取器、第二Self Attention特征抽取器和第一简单前馈网络；所述解码模块包括第三多维度卷积核特征抽取器、带掩码的multi-head attention特征抽取器、第一multi-head attention特征抽取器、第二multi-head attention特征抽取器和第二简单前馈网络组成；编码装置和编码装置之间由自注意力机制特征融合层衔接；

基于所述若干训练图像的感兴趣区域特征向量、类别特征词向量和图像实体特征向量，对所述图像描述模型进行交叉熵损失的训练；

对所述图像描述模型进行强化学习的训练。

作为本发明实施例的一种改进，所述“抽取每个训练图像对应的感兴趣区域特征向量、类别特征词向量和图像实体特征向量”具体包括：对每个训练图像，都执行以下操作：基于已训练的Faster-RCNN模型抽取对应的感兴趣区域特征向量，并识别出若干图像实体区域框以及每个图像实体区域框所对应的图像实体类别；基于BERT模型、获得所述图像实体类别对应的类别特征词向量；基于已训练的ResNet模型、获取所述图像实体区域框对应的图像实体特征向量。