[发明专利]图像标注语句自动生成方法

权利要求书

1.一种图像标注语句自动生成方法，其特征在于，包括步骤：

对给定图像进行特征提取得到图像局部特征和图像全局特征；

通过给定特征映射网络对所述给定图像以及给定训练数据集中的每个训练图像进行特征映射分别得到对应所述给定图像的目标给定图像特征向量以及对应所述训练图像的目标训练图像特征向量；

计算所述目标给定图像特征向量与每个所述目标训练图像特征向量的余弦相似度、并将最大的多个所述余弦相似度对应的多个所述训练图像作为所述给定图像的最近邻的多个训练图像；

获取所述最近邻的多个训练图像对应的多个标注语句；

在所述多个标注语句中随机选择部分标注语句并计算所述部分标注语句中的每个标注语句与所述多个标注语句中除所述部分标注语句之外的剩余标注语句的平均相似度；

通过Skip-Thoughts模型对最大的所述平均相似度对应的所述标注语句进行转换处理以得到参考标注语句向量；

初始化前一时间步的隐藏层状态；以及

循环执行如下步骤以生成包括多个图像标注词语的图像标注语句：

将所述前一时间步的隐藏层状态、当前时间步输入的词语向量输入到长期短期记忆网络中以生成当前时间步的视觉哨兵向量和当前时间步的隐藏层状态、并将所述前一时间步的隐藏层状态更新为所述当前时间步的隐藏层状态；

根据注意机制将所述参考标注语句向量、所述当前时间步的视觉哨兵向量和所述当前时间步的隐藏层状态作用于所述图像全局特征以生成所述图像局部特征的权重向量；以及

根据所述权重向量和所述图像局部特征通过多层神经网络预测得到当前时间步输出的所述图像标注词语。

2.如权利要求1所述的图像标注语句自动生成方法，其特征在于，所述对给定图像进行特征提取得到图像局部特征和图像全局特征的步骤为：通过卷积神经网络对所述给定图像进行特征提取得到所述图像局部特征和所述图像全局特征。

3.如权利要求1所述的图像标注语句自动生成方法，其特征在于，所述给定训练数据集包括：所述训练图像以及所述训练图像对应的所述标注语句。

4.如权利要求1所述的图像标注语句自动生成方法，其特征在于，所述给定训练数据集为MSCOCO数据集。

5.如权利要求1所述的图像标注语句自动生成方法，其特征在于，所述给定特征映射网络为VGG网络。

6.如权利要求1所述的图像标注语句自动生成方法，其特征在于，所述初始化前一时间步的隐藏层状态为将前一时间步的隐藏层状态初始化为0。