[发明专利]一种自动图像语义描述方法

权利要求书

1.一种自动图像语义描述方法，其特征在于，包括构建及训练基于CNN和GRU的自动图像语义描述模型，具体为：

步骤1)定义目标函数；

步骤2)进行从图像到语义描述翻译的过程；

步骤3)对误差进行反向的传播。

2.根据权利要求1所述的自动图像语义描述方法，其特征在于，步骤1)中的目标函数为

3.根据权利要求1-2所述的自动图像语义描述方法，其特征在于，所述步骤2)如以下公式所示：

x_-1＝CNN(I)；

x_t＝W_es_t，t∈{0，...N-1}；

h_t＝GRU(x_t)，t∈{0，...N-1}；

p_t+1＝g(W_ph_t)；

其中，I代表一幅图像，S＝(s₀，s₁，s₂，...s_n)代表这幅图像的完整的语义描述，由n个单词组成。s_t采用独热编码形式；其中s₀是一个特殊单词“start”，代表一句话的开始；s_n是一个特殊单词“end”，代表着一句话的结束。

4.根据权利要求1所述的自动图像语义描述方法，其特征在于，所述步骤3包括：

定义损失函数：该损失函数是将所有时刻预测单词正确的log概率值求和后取负数的结果，即交叉熵损失函数；

通过训练不断更新模型中的参数，使得损失值尽量小；

利用随机梯度下降法以及链式求导法则更新所述参数。

5.根据权利要求1所述的自动图像语义描述方法，其特征在于，所述参数包括GRU模型内部参数、词向量编码参数、图像特征编码参数、输出解码参数。

6.根据权利要求1-5所述的自动图像语义描述方法，其特征在于，在模型的训练过程中，每一时刻的GRU网络的权值参数都是共享的，上一时刻GRU网络的输出，作为当前时刻GRU网络的部分输入。

7.根据权利要求1-6所述的自动图像语义描述方法，其特征在于，CNN包含卷积层和池化层两种隐含层结构。

8.根据权利要求1-7所述的自动图像语义描述方法，其特征在于，CNN的下一层神经元与上一层神经元之间不是全连接的，即其神经元之间是局部感知的；另一方面神经元连接过程中具有相同的权重，即神经元的连接是权重共享的。

9.根据权利要求1-8所述的自动图像语义描述方法，其特征在于，GRU的结构中存在重置门限，其表示为其中σ为激活函数，x_t是t时刻的输入信息，h_t-1是t-1时刻隐含层的输出信息，为t时刻重置门限输入层权值，为t时刻重置门限隐含层权值。

10.根据权利要求1-9所述的自动图像语义描述方法，其特征在于，GRU的结构中存在更新门，其可以表示为公式：