[发明专利]一种使用胶囊网络的新型图像描述生成算法

权利要求书

1.一种使用胶囊网络的新型图像描述生成算法，其特征在于，步骤如下：

(1)使用具有多通道的双线性池化注意模块处理区域级图像特征；

取区域级图像特征矩阵F并嵌入特征向量Q_E、K_E、V_E，K_E和V_E均初始化为F，Q_E初始化为所有区域级图像特征的平均池化

其中，f_i为F的第i维，N为区域级图像特征的数目，Q_E、K_E、V_E为注意力机制中的查询向量、相关性向量、被查询向量；

首先用低秩双线性池化计算Q_E和K_E的第i维ki的乘积得到中间表示对Q_E和V_E的第i维vi进行双线性池化得到

其中，分别为k_i、Q_E、v_i、Q_E的嵌入矩阵，⊙为矩阵间的元素乘运算，σ为非线性激活函数；

对中间表示通过挤压奖励操作得到全局平均池化并捕获其通道依赖α^c；

其中，W_B分别为的嵌入矩阵，N为的维度，σ为非线性激活函数；

根据α^c和获得多通道的视觉表示

其中，为的第i维；

(2)使用胶囊网络提取图像级视觉表示；

将多通道的视觉表示输入到胶囊网络中进行2-4次动态路由运算，每次运算后更新胶囊网络的参数，得到最终的图像级视觉表示

所述的胶囊网络运算公式如下：

其中，W_i^f为μ_i的转换矩阵，为胶囊网络中对应μ_i的耦合系数；

所述的胶囊网络的空间耦合系数更新公式如下：

其中，b_i、b_j为胶囊网络中路由矩阵的第i、j维，b_i通过累加μ_i和的乘积进行自我更新；

(3)使用LSTM和双线性池化模块对图像级视觉表示进行解码，得到图像描述；

解码器中包含一层LSTM，在每一时间步经过LSTM层和双线性池化模块生成单词，循环T个时间步最终得到长度为T的描述语句，T的长度最长为17；在t时刻，将区域级图像特征矩阵的平均池化和图像级视觉表示的联合表示t-1时刻计算得到的上下文向量c_t-1、t-1时刻生成的单词向量s_t-1拼接为x_t输入LSTM，得到隐藏层向量h_t并输出至双线性池化模块和GLU模块，得到上下文向量c_t，经过softmax运算后生成单词s_t；

所述的LSTM输入x_t的计算公式如下：

其中，W_F、W_x为嵌入矩阵；

所述的隐藏层向量h_t的计算公式如下：

h_t＝LSTM(x_t，h_t-1)

其中，h_t-1为LSTM在t-1时刻的隐藏层状态矩阵；

所述的上下文向量c_t的计算公式如下：

c_t＝GLU(F_X-Linear(K_D，V_D，Q_D))

其中，F_X-Linear为双线性池化模块的计算函数，K_D、V_D、Q_D为双线性池化模块中的相关性向量、被查询向量、查询向量，K_D初始化为LSTM的隐藏层状态h_t，V_D、Q_D初始化为视觉联合表示

所述的生成单词的公式如下：

s_t＝softmax(W_cc_t)

其中，s_t为t时刻生成的单词，W_c为c_t的嵌入矩阵。

2.根据权利要求1所述的使用胶囊网络的新型图像描述生成算法，其特征在于，所述非线性激活函数为CELU激活函数。