[发明专利]一种基于深度注意力机制的图像描述生成方法

权利要求书

1.一种基于深度注意力机制的图像描述生成方法，其特征在于，所述方法包括：

深度长短期记忆网络模型建立步骤，通过在长短期记忆网络模型的单元之间添加注意力机制函数，并利用卷积神经网络提取的训练图片特征和训练图片的描述信息对添加了注意力机制函数的长短期记忆网络进行训练，得到深度长短期记忆网络模型，

图像描述生成步骤，将待生成描述的图像依次通过卷积神经网络模型和深度长短期记忆网络模型，生成与图像对应的描述；

所述深度长短期记忆网络模型建立步骤包括：

A1)将训练图片通过卷积神经网络，得到训练图片的特征图和特征向量，

A2)建立长短期记忆网络模型，并在长短期记忆网络模型的每两个连接层之间添加注意力机制函数，

A3)将训练图片的描述信息和步骤A1)中得到的特征图与特征向量，输入到步骤A2)中添加了注意力机制函数的长短期记忆网络模型后，对长短期记忆网络模型进行训练，得到深度长短期记忆网络模型；

所述步骤A2)包括：

A21)通过设置输入门、输出门、遗忘门和记忆单元，构建长短期记忆网络模型中的长短期记忆单元，

A22)设置长短期记忆网络模型中每一个连接层的时间步长和隐层单元的个数，

A23)在长短期记忆网络模型的每一个连接层的长短期记忆单元后添加注意力机制函数，所述注意力机制函数包括两个输入端和一个输出端，所述两个输入端的维度分别与通过卷积神经网络的特征图的维度和隐层单元参数的维度相等，所述输出端的维度与通过卷积神经网络提取的训练图片特征向量维度相等。

2.根据权利要求1所述的基于深度注意力机制的图像描述生成方法，其特征在于，所述长短期记忆网络模型中每一个连接层的时间步长与所有训练图片的描述信息的平均句子长度相等。

3.根据权利要求1述的基于深度注意力机制的图像描述生成方法，其特征在于，所述隐层单元的个数为512个。

4.根据权利要求1所述的基于深度注意力机制的图像描述生成方法，其特征在于，所述注意力机制函数具体为：

其中，k表示第k层长短期记忆单元，t表示时间步，a_i表示特征图的第i部分，整个特征图为{a₁,a₂,…,a_i,…a_L}，表示第k-1层长短期记忆单元的隐层输出，f_att表示多层感知机，为特征图第i部分与当前时间步有关的相似性结果，为特征图第i部分所占的全局比重，为注意力，Φ为Φ函数。

5.根据权利要求1所述的基于深度注意力机制的图像描述生成方法，其特征在于，所述步骤A3)包括：

A31)将所有训练图片的描述信息对应的所有单词编码后映射为嵌入式向量；

A32)在第一个时间步，将步骤A1)中得到的特征向量作为全局信息输入到长短期记忆网络模型中；

A33)每一层的长短期记忆单元的输入包括上一层的长短期记忆单元输出、特征注意力计算值和与该层顺序相对应的单词的嵌入式向量，依层传递得到训练图片的输出描述信息；

A34)根据输出描述信息与实际描述信息的误差，对长短期记忆网络模型的参数进行优化，得到深度长短期记忆网络模型。

6.根据权利要求5所述的基于深度注意力机制的图像描述生成方法，其特征在于，所述特征注意力计算值的计算方式具体为：将相应的长短期记忆单元的输出和步骤A1)中得到的特征图作为输入，通过注意力机制函数进行计算，得到特征注意力计算值。

7.根据权利要求6所述的基于深度注意力机制的图像描述生成方法，其特征在于，所述相应的长短期记忆单元的输出包括上一层的长短期记忆单元的输出、当前长短期单元以前所有层的长短期记忆单元的输出或当前长短期单元的前两层的长短期记忆单元的输出。

8.根据权利要求5所述的基于深度注意力机制的图像描述生成方法，其特征在于，所述步骤A34)包括：

A341)通过交叉熵函数计算输出描述信息中每个单词与实际值之间的误差，并对计算得到的所有误差进行求和；

A342)将步骤A341)求和得到的结果相对于添加了注意力机制函数的长短期记忆网络模型进行求导，并将求导的结果传递回添加了注意力机制函数的长短期记忆网络模型中；

A343)将添加了注意力机制函数的长短期记忆网络模型关于求导的结果的输出作为训练后的模型参数，得到深度长短期记忆网络模型。