[发明专利]一种基于编码器-解码器框架的图像描述方法

权利要求书

1.一种基于编码器-解码器框架的图像描述方法，其特征在于，包括以下步骤：

采用编码器组件，对文本特征和图像特征进行提取；

采用解码器组件，学习图像特征和文本特征，并生成图像描述语句。

2.根据权利要求1所述的一种基于编码器-解码器框架的图像描述方法，其特征在于，所述采用编码器组件，对文本特征和图像特征进行提取具体为：检测输入图像中的对象坐标，对图像中的对象进行特征提取，生成图像特征向量；对输入的文本进行处理，形成句子中各个词的初步特征向量表示，得到文本特征向量。

3.根据权利要求2所述的一种基于编码器-解码器框架的图像描述方法，其特征在于，所述检测输入图像中的对象坐标具体为：采用Faster-RCNN网络，检测图像中每个对象的坐标。

4.根据权利要求2所述的一种基于编码器-解码器框架的图像描述方法，其特征在于，所述对图像中的对象进行特征提取，生成图像特征向量具体为：根据检测出的对象坐标，对对象区域使用Inception-v4网络进行特征提取并生成图像特征向量。

5.根据权利要求2所述的一种基于编码器-解码器框架的图像描述方法，其特征在于，所述对输入的文本进行处理，形成句子中各个词的初步特征向量表示，得到文本特征向量具体为：

删除文本数据中的HTML链接，留下可见的文本；

使用单词标记器将句子分割成单独的标记；

删除数据集中的非单词；

使用词干分析器对标记进行词干处理，减少上下文的可变性；

加载训练好的词嵌入矩阵，得到每个单词对应的单词向量，将其作为文本特征向量。

6.根据权利要求1所述的一种基于编码器-解码器框架的图像描述方法，其特征在于，所述采用解码器组件，学习图像特征和文本特征，并生成图像描述语句具体为：学习图像特征向量以及文本特征向量生成图像语义特征，根据图像语义特征输出每一时刻的预测单词，进而生成图像描述语句。

7.根据权利要求6所述的一种基于编码器-解码器框架的图像描述方法，其特征在于，所述学习图像特征向量以及文本特征向量生成图像语义特征具体为：

将文本特征与图像特征的平均特征送入一LSTM层中进行学习，并输出初步预测特征；

采用注意力层将初步预测特征与图像特征进行注意力加权，决定每一时刻对图像不同区域的关注度并得到加权之后的图像特征；

将初步预测特征与加权之后的图像特征一同送入一并行LSTM层中进行学习，输出多个二次预测向量；

最后再使用一层LSTM层对多个二次预测向量进行学习，输出最后的预测向量，将其作为图像语义特征。

8.根据权利要求6所述的一种基于编码器-解码器框架的图像描述方法，其特征在于，所述根据图像语义特征输出每一时刻的预测单词，进而生成图像描述语句具体为：

采用softmax层，对图像语义特征进行处理，得到每一时刻单词预测概率的分布，选择概率最大的词作为下一时刻的输入文本，最终得到图像的描述语句。

9.一种基于编码器-解码器框架的图像描述系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-8任一项所述的方法步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-8任一项所述的方法步骤。