[发明专利]基于自然语言描述的视频监控行人搜索的注意力模型方法

摘要

一种基于自然语言描述的视频监控行人搜索的注意力模型方法，利用融合的特征向量形成的注意力权重对图像特征向量进行注意力加权，得到文本与图像之间的联系程度。与此同时，利用文本特征向量形成的注意力权重对该文本进行注意力加权，得到该文本的重要程度。将文本与图像之间的联系程度与该文本的重要程度相乘后得到注意力评价分数。本发明使用三种不同的注意力加权方式，更有效的突出每个单词文本向量的重要程度以及提高了特征向量的代表性和有效性，可以更加充分有效的使用特征向量。可以充分的利用特征向量中有效的特征，提高训练和测试的效果。可以解决一些人工智能，机器学习以及基于自然语言描述的视频监控行人搜索等相关方面的工作和问题。

主权项

1.一种基于自然语言描述的视频监控行人搜索的注意力模型方法，其特征在于，包括如下步骤：1)设由卷积神经网络提取的第n张图像特征向量为I_n；第n张图像对应的自然语言描述中含有若干个单词；第k个单词的文本特征向量为图像特征向量I_n和文本特征向量融合得到的融合向量为2)将所述的融合向量输入到全连接层中进行训练，得到向量即：其中，为融合向量的权重矩阵，为图像特征向量I_n和文本特征向量所对应的融合向量的偏置向量；3)将向量输入神经网络的Softmax层中进行归一化，并计算权重值S_n，将所有权重值作为元素构成注意力向量即：其中，注意力向量中共有j个元素x_j，为注意力向量中第i个元素的权重；4)将第k个单词的文本特征向量为输入到全连接层中进行训练，得到向量即：其中，为第n张图像和第k个单词对应的文本特征向量的权重矩阵，为第n张图像和第k个单词对应的文本特征向量的偏置向量；5)将向量输入神经网络的Softmax层中进行归一化，并计算权重值TS_n，将所有权重值作为元素构成注意力向量即其中，注意力向量中共有j个元素z_j，为注意力向量中第i个元素的权重；6)将注意力向量与文本特征向量进行内积运算，得到经过注意力向量加权的标量分数‑‑文本的重要程度即：7)将注意力向量与图像特征向量为进行内积运算，得到经过注意力向量加权的标量分数‑‑文本与图像之间的联系程度即：8)将联系程度与重要程度进行乘积运算，得到注意力评价分数Sco，即：其中，注意力评价分数是用于表示文本中每个单词与图像的相关程度，分数越大，则每个单词与图像的相关程度越高。