[发明专利]一种智能图像识别和描述方法

权利要求书

1.一种智能图像识别和描述方法，其特征在于，包括步骤：

1)用卷积神经网络来提取输入图像的特征，生成固定长度的特征向量；

2)用提取出的特征向量初始化循环神经网络语言模型LSTM，从而生成句子，描述该输入图像；

方法包括LSTM模型、图像嵌入模型Inception V4和单词嵌入模型word2vec，LSTM记忆单元之间展开连接；

用I表示输入图像，用S＝(S₀,...,S_N)表示描述该图像正确的文本描述，则展开过程如下：

x_-1＝CNN(I) (1)

x_t＝W_eS_t，t∈{0...N-1} (2)

p_t+1＝LSTM(x_t)，t∈{0...N-1} (3)

其中，用一位有效编码的向量S_t表示每个单词，S_t的维度与字典中单词的数量相等；用S₀表示一个特定的开始单词，用S_N表示一个特定的停止单词，S₀、S_N用来指定句子的开始和结束；当生成停止单词时，表示模型已经生成了完整的句子；输入图像和输入单词都被映射到相同的空间，其中，输入图像是通过使用卷积神经网络的Inception V4生成特征向量x_-1，输入单词是通过使用单词嵌入模型的word2vecW_e生成512维的词向量x_t，word2vecW_e为单词嵌入模块；图像I只在t＝-1时刻输入一次，将图像的内容传达给LSTM。

2.根据权利要求1所述的智能图像识别和描述方法，其特征在于，卷积神经网络包括图像嵌入模型Inception V4，用Inception V4来提取输入图像的特征。

3.根据权利要求1所述的智能图像识别和描述方法，其特征在于，模型训练过程包括：1)在ImageNet数据集上预训练Inception V4，用训练后的Inception V4初始化模型的卷积神经网络；2)使用无动量的随机梯度下降和学习率指数衰减来训练模型的LSTM、单词嵌入word2vec以及Inception V4顶层这3个部分的权重。

4.根据权利要求3所述的智能图像识别和描述方法，其特征在于，初始学习率为2.0，学习率衰减因子为0.5。

5.根据权利要求3所述的智能图像识别和描述方法，其特征在于，该 模型的损失是每个时间步中正确单词的负对数概率之和，如下所示：

其中，p_t(S_t)为每个时间步中正确单词的概率，训练模型中LSTM模块、图像嵌入模块Inception V4的顶层和单词嵌入模块word2vecW_e这3个模块中的参数，以最小化公式(4)中的损失。