[发明专利]基于文字描述的单目标跟踪方法、装置、设备及存储介质

权利要求书

1.基于文字描述的单目标视觉跟踪方法，其特征是，包括：

获取待跟踪目标的样板图像；获取待跟踪视频和与待跟踪目标相关的文字描述；对待跟踪视频按照设定帧数平均划分为若干个视频包；

对所述文字描述提取出第一、第二和第三文字特征；

对每个视频包的第n个采样帧分别提取第一、第二和第三视觉特征；n为正整数，n的上限为指定值；基于每个视频包第n个采样帧的第一、第二和第三视觉特征分别对第一、第二和第三文字特征进行更新，得到更新后的第一、第二和第三文字特征；对待跟踪目标的样板图像，分别提取第四、第五和第六视觉特征；所述待跟踪目标的样板图像是指待跟踪视频的首帧图像；对搜索区域图像，分别提取第七，第八和第九视觉特征；所述搜索区域图像，是指当前视频包中的所有图像；

其中，基于每个视频包第n个采样帧的第一、第二和第三视觉特征分别对第一、第二和第三文字特征进行更新，得到更新后的第一、第二和第三文字特征；具体步骤包括：

第一视觉特征经过全局平均池化处理，得到第一子视觉特征；将第一文字特征作为第一LSTM模型的初始隐状态；在设定的t时刻，将第一子视觉特征输入到第一LSTM模型中，第一LSTM模型输出更新后的第一文字特征；第一LSTM模型中，遗忘门用于决定当前时刻的隐状态是否应该被舍弃；输入门用于决定输入的视觉特征的值是否应该被写入；

第二视觉特征经过全局平均池化处理，得到第二子视觉子特征；将第二文字特征作为第二LSTM模型的初始隐状态；在设定的t时刻，将第二子视觉特征输入到第二LSTM模型中，第二LSTM模型输出更新后的第二文字特征；

第三视觉特征经过全局平均池化处理，得到第三子视觉特征；将第三文字特征作为第三LSTM模型的初始隐状态；在设定的t时刻，将第三子视觉特征输入到第三LSTM模型中，第三LSTM模型输出更新后的第三文字特征；

将更新后的第一、第二和第三文字特征向量，分别与第四、第五、第六、第七、第八和第九视觉特征进行融合，得到六个融合特征；

其中，将更新后的第一、第二和第三文字特征向量，分别与第四、第五、第六、第七、第八和第九视觉特征进行融合，得到六个融合特征；具体步骤包括：

将更新后的第一文字特征向量与第四视觉特征进行拼接，得到第一融合特征；将更新后的第二文字特征向量与第五视觉特征进行拼接，得到第二融合特征；将更新后的第三文字特征向量与第六视觉特征进行拼接，得到第三融合特征；将更新后的第一文字特征向量与第七视觉特征进行拼接，得到第四融合特征；将更新后的第二文字特征向量与第八视觉特征进行拼接，得到第五融合特征；将更新后的第三文字特征向量与第九视觉特征进行拼接，得到第六融合特征；

根据六个融合特征，得到待跟踪视频的当前视频包中每一帧的目标跟踪结果。

2.如权利要求1所述的基于文字描述的单目标视觉跟踪方法，其特征是，对所述文字描述提取出第一、第二和第三文字特征；具体步骤包括：

采用BERT方法，对所述文字描述提取出第一、第二和第三文字特征。

3.如权利要求1所述的基于文字描述的单目标视觉跟踪方法，其特征是，对每个视频包的第n个采样帧分别提取第一、第二和第三视觉特征；n为正整数，n的上限为指定值；具体步骤包括：

采用RestNet-50，对每个视频包的第n个采样帧进行视觉特征提取；卷积层Conv2_3输出第一视觉特征；卷积层Conv3_4输出第二视觉特征；卷积层Conv5_3输出第三视觉特征。