[发明专利]目标跟踪方法、装置和计算机可读存储介质

权利要求书

1.一种目标跟踪方法，包括：

根据视频流中待识别帧之前的帧中目标物体所在的区域，确定所述待识别帧的特征提取区域；

根据所述待识别帧的像素信息，通过图像特征提取网络、从所述特征提取区域提取所述待识别帧的图像特征；

根据所述待识别帧相对于所述之前的帧的光流信息，通过光流特征提取网络、从所述特征提取区域提取所述待识别帧的光流特征；

将所述待识别帧的图像特征和光流特征进行融合，获得融合特征；

将所述融合特征输入到目标估计网络中，获得所述目标估计网络输出的、所述待识别帧中的目标物体所在的区域。

2.根据权利要求1所述的目标跟踪方法，其中，通过对视频流中待识别帧之前的帧中目标物体所在的区域进行扩张，确定所述待识别帧的特征提取区域。

3.根据权利要求1所述的目标跟踪方法，还包括：

将所述融合特征输入到目标检测网络中，获得所述目标检测网络输出的、所述待识别帧中的目标物体的位置及其置信度；

在所述置信度低于预设值的情况下，在所述待识别帧相对于所述之前的帧的光流信息中，基于在所述特征提取范围的光流信息进行局部搜索，获得具有局部最大速度的像素位置；

基于所述具有局部最大速度的像素位置，重新确定所述特征提取范围，以便基于重新确定的特征提取范围重新确定所述待识别帧中的目标物体所在的区域。

4.根据权利要求3所述的目标跟踪方法，其中，所述目标检测网络包括分类卷积层、初始化层和预测层；

所述将所述融合特征输入到目标检测网络中，获得所述目标检测网络输出的、所述待识别帧中的目标物体的位置及其置信度包括：

将所述待识别帧的融合特征输入到所述目标检测网络的分类卷积层中，获得分类层特征；

将所述待识别帧之前的帧中目标物体的预测的所在区域以及所述待识别帧输入到所述初始化层中，获得初始化特征；

将所述分类层特征和所述初始化特征输入到所述预测层中，获得所述预测层输出的、所述待识别帧中的目标物体所在位置及其置信度。

5.根据权利要求1～4中任一项所述的目标跟踪方法，其中，所述待识别帧的像素信息包括所述待识别帧的红、绿、蓝通道中的像素值。

6.根据权利要求1～4中任一项所述的目标跟踪方法，其中，所述光流信息包括第一方向的通道和第二方向的通道中的相对移动信息，其中，每个通道中的相对移动信息是所述待识别帧中的像素在所述通道对应的方向上相对于之前的帧的移动信息。

7.根据权利要求1所述的目标跟踪方法，其中：

通过预设的权重，将所述待识别帧的图像特征和光流特征进行融合，获得融合特征；或者，

将所述待识别帧的图像特征和光流特征输入到特征融合网络中，获得所述特征融合网络输出的融合特征。

8.根据权利要求1所述的目标跟踪方法，其中，所述视频流中的首帧中目标物体的预测的所在区域是通过将所述首帧输入到物体检测器获得的。

9.根据权利要求1所述的目标跟踪方法，还包括：

分别通过图像特征提取网络和光流特征提取网络提取训练视频流中训练帧的图像特征和光流特征；

将所述训练帧的图像特征和光流特征进行融合，获得所述训练帧的融合特征；

将所述训练帧的融合特征输入到目标估计网络中，获得所述目标估计网络预测的、所述训练帧中的目标物体所在的区域；以及

根据训练视频流的每个训练帧中目标物体的预测的所在区域以及预先标注的所在区域，对所述图像特征提取网络、所述光流特征提取网络、所述目标估计网络进行训练。