[发明专利]基于神经网络的图像诗句描述生成方法、装置和设备

权利要求书

1.一种基于神经网络的图像诗句描述生成方法，其特征在于，包括步骤：

获取输入图像的图片特征向量以及多个对所述输入图像的白话描述的词向量；所述图片特征向量与各所述词向量的维度相同；

将各所述词向量聚类为k类，分别确定k个聚类中心对应的词向量以及距离k个所述聚类中心最近的前s-1个词向量，得到关键词个数为k个的s组关键词；所述词向量与所述关键词一一对应，k和s均为大于或等于2的正整数；

将s组所述关键词分别输入charRNN神经网络，生成s组所述关键词对应的s个诗句并将各所述诗句转换成对应的诗向量；各所述诗向量与所述词向量的维度相同；

将所述图片特征向量和任一所述词向量输入seq2seq模型对各所述诗向量进行预测，根据预测确定的一个所述诗向量生成对所述输入图像描述的诗句；

所述获取多个对所述输入图像的白话描述的词向量的过程，包括：通过所述charRNN神经网络的词嵌入层，分别将多个所述白话描述转换成对应的多个所述词向量；各所述词向量的维度均为256维；

所述图片特征向量和任一所述词向量输入seq2seq模型对各所述诗向量进行预测的过程，包括：将所述图片特征向量和任一所述词向量拼接作为一个输入序列后输入所述seq2seq模型的图像-语言编码器；利用所述seq2seq模型的图像-语言解码器根据所述输入序列预测各所述诗向量。

2.根据权利要求1所述的基于神经网络的图像诗句描述生成方法，其特征在于，获取输入图像的图片特征向量的过程，包括：

将所述输入图像的尺寸进行标准化处理，转换成尺寸为(224,224,3)的标准图像；

将所述标准图像输入ResNet卷积神经网络进行图像特征提取，得到所述标准图像的特征向量；

通过一个全连接层将所述特征向量转换成256维的所述图片特征向量。

3.一种基于神经网络的图像诗句描述生成装置，其特征在于，包括：

向量获取模块，用于获取输入图像的图片特征向量以及多个对所述输入图像的白话描述的词向量；所述图片特征向量与各所述词向量的维度相同；

聚类处理模块，用于将各所述词向量聚类为k类，分别确定k个聚类中心对应的词向量以及距离k个所述聚类中心最近的前s-1个词向量，得到关键词个数为k个的s组关键词；所述词向量与所述关键词一一对应，k和s均为大于或等于2的正整数；

诗句转换模块，用于将s组所述关键词分别输入charRNN神经网络，生成s组所述关键词对应的s个诗句并将各所述诗句转换成对应的诗向量；各所述诗向量与所述词向量的维度相同；

预测生成模块，用于将所述图片特征向量和任一所述词向量输入seq2seq模型对各所述诗向量进行预测，根据预测确定的一个所述诗向量生成对所述输入图像描述的诗句；

所述向量获取模块还包括：词转换子模块，用于通过所述charRNN神经网络的词嵌入层，分别将多个所述白话描述转换成对应的多个所述词向量；各所述词向量的维度均为256维；

所述预测生成模块还包括：输入编码子模块，用于将所述图片特征向量和任一所述词向量拼接作为一个输入序列后输入所述seq2seq模型的图像-语言编码器；解码预测子模块，用于利用所述seq2seq模型的图像-语言解码器根据所述输入序列预测各所述诗向量。

4.根据权利要求3所述的基于神经网络的图像诗句描述生成装置，其特征在于，所述向量获取模块包括：

标准化子模块，用于将所述输入图像的尺寸进行标准化处理，转换成尺寸为(224,224,3)的标准图像；

特征提取子模块，用于将所述标准图像输入ResNet卷积神经网络进行图像特征提取，得到所述标准图像的特征向量；

维度转换子模块，用于通过一个全连接层将所述特征向量转换成256维的所述图片特征向量。

5.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至2中任一项所述基于神经网络的图像诗句描述生成方法的步骤。