[发明专利]基于文字描述的单目标跟踪方法、装置、设备及存储介质

说明书

本发明公开了基于文字描述的单目标跟踪方法、装置、设备及存储介质：对待跟踪视频按照设定帧数平均划分为若干个视频包；对文字描述提取出第一、二和三文字特征；对每个视频包的第n个采样帧分别提取第一、二和三视觉特征；基于每个视频包第n个采样帧的第一、第二和第三视觉特征分别对第一、第二和第三文字特征进行更新，得到更新后的第一、第二和第三文字特征；对待跟踪目标的样板图像，分别提取第四、第五和第六视觉特征；对搜索区域图像，分别提取第七，第八和第九视觉特征；将更新后的第一、第二和第三文字特征向量，分别与第四到第九视觉特征进行融合，得到融合特征；根据融合特征，得到待跟踪视频的当前视频包中每一帧的目标跟踪结果。

技术领域

本申请涉及机器视觉及自然语言处理技术领域，特别是涉及基于文字描述的单目标跟踪方法、装置、设备及存储介质。

背景技术

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

单目标跟踪是机器视觉领域的一个经典且长期研究的课题。传统的单目标跟踪方法通常在视频的帧中手工标注出需要跟踪的目标的方框。近年来，结合了机器视觉以及自然语言处理技术的相关课题，比如说图像/视频标注，视觉问答等课题取得了巨大的进步，基于文字描述的单目标跟踪课题也越来越收到重视。给定一段文字标注，跟踪视频中用文字标注出来的目标可以使算法能够更好地处理很多复杂场景，比如遮挡，边框偏移，目标变形，模糊等。因为自然语言描述提供地语义信息能够帮助目标跟踪算法减轻这些复杂场景地影响。

然而，基于文字描述的单目标跟踪课题有一个特殊的问题。自然语言可以描述目标在第一帧的外观和运动状态，或者描述目标在整段视频中的运动过程，给视频的每一帧标注文字是不可行的。对于常用的带有自然语言标注的单目标跟踪数据集，文字标注通常描述了视频的整体内容，没有任何数据集对所有的帧进行标注。然而，目标的位置和外观在视频中是不断变化的，因而自然语言标注在大多数场景下是不能准确的描述目标的位置或者运动。尽管过去的相关工作取得了不错的表现，但是它们仅仅将文字标注看作是一个全局的约束。

发明内容

为了解决现有技术的不足，本申请提供了基于文字描述的单目标跟踪方法、装置、设备及存储介质；

第一方面，本申请提供了基于文字描述的单目标视觉跟踪方法；

基于文字描述的单目标视觉跟踪方法，包括：

获取待跟踪目标的样板图像；获取待跟踪视频和与待跟踪目标相关的文字描述；对待跟踪视频按照设定帧数平均划分为若干个视频包；

对所述文字描述提取出第一、第二和第三文字特征；

对每个视频包的第n个采样帧分别提取第一、第二和第三视觉特征；n为正整数，n的上限为指定值；基于每个视频包第n个采样帧的第一、第二和第三视觉特征分别对第一、第二和第三文字特征进行更新，得到更新后的第一、第二和第三文字特征；对待跟踪目标的样板图像，分别提取第四、第五和第六视觉特征；所述待跟踪目标的样板图像是指待跟踪视频的首帧图像；对搜索区域图像，分别提取第七，第八和第九视觉特征；所述搜索区域图像，是指当前视频包中的所有图像；

将更新后的第一、第二和第三文字特征向量，分别与第四、第五、第六、第七、第八和第九视觉特征进行融合，得到六个融合特征；

根据六个融合特征，得到待跟踪视频的当前视频包中每一帧的目标跟踪结果。

第二方面，本申请提供了基于文字描述的单目标视觉跟踪装置；

基于文字描述的单目标视觉跟踪装置，包括：

视频包划分模块，其被配置为：获取待跟踪目标的样板图像；获取待跟踪视频和与待跟踪目标相关的文字描述；对待跟踪视频按照设定帧数平均划分为若干个视频包；

文字特征提取模块，其被配置为：对所述文字描述提取出第一、第二和第三文字特征；