[发明专利]图像标注语句自动生成方法

摘要

本发明实施例公开了一种图像标注语句自动生成方法，包括：对给定图像进行特征提取得到图像局部特征和图像全局特征；在训练数据集中找到最近邻的多个训练图像；获取多个标注语句；对最大的所述平均相似度对应的所述标注语句进行转换处理以得到参考标注语句向量；初始化前一时间步的隐藏层状态；以及循环生成包括多个图像标注词语的图像标注语句。本发明实施例有效的提高了自动生成的图像标注语句的质量，生成的图像标注语句更符合人类说话的标准。

主权项

1.一种图像标注语句自动生成方法，其特征在于，包括步骤：对给定图像进行特征提取得到图像局部特征和图像全局特征；通过给定特征映射网络对所述给定图像以及给定训练数据集中的每个训练图像进行特征映射分别得到对应所述给定图像的目标给定图像特征向量以及对应所述训练图像的目标训练图像特征向量；计算所述目标给定图像特征向量与每个所述目标训练图像特征向量的余弦相似度、并将最大的多个所述余弦相似度对应的多个所述训练图像作为所述给定图像的最近邻的多个训练图像；获取所述最近邻的多个训练图像对应的多个标注语句；在所述多个标注语句中随机选择部分标注语句并计算所述部分标注语句中的每个标注语句与所述多个标注语句中除所述部分标注语句之外的剩余标注语句的平均相似度；通过Skip‑Thoughts模型对最大的所述平均相似度对应的所述标注语句进行转换处理以得到参考标注语句向量；初始化前一时间步的隐藏层状态；以及循环执行如下步骤以生成包括多个图像标注词语的图像标注语句：将所述前一时间步的隐藏层状态、当前时间步输入的词语向量输入到长期短期记忆网络中以生成当前时间步的视觉哨兵向量和当前时间步的隐藏层状态、并将所述前一时间步的隐藏层状态更新为所述当前时间步的隐藏层状态；根据注意机制将所述参考标注语句向量、所述当前时间步的视觉哨兵向量和所述当前时间步的隐藏层状态作用于所述图像全局特征以生成所述图像局部特征的权重向量；以及根据所述权重向量和所述图像局部特征通过多层神经网络预测得到当前时间步输出的所述图像标注词语。