[发明专利]目标跟踪方法、装置和计算机可读存储介质

说明书

本发明公开了一种目标跟踪方法、装置和计算机可读存储介质，涉及图像处理技术领域。目标跟踪方法包括：根据视频流中待识别帧之前的帧中目标物体所在的区域，确定待识别帧的特征提取区域；根据待识别帧的像素信息，通过图像特征提取网络、从特征提取区域提取待识别帧的图像特征；根据待识别帧相对于之前的帧的光流信息，通过光流特征提取网络、从特征提取区域提取待识别帧的光流特征；将待识别帧的图像特征和光流特征进行融合，获得融合特征；将融合特征输入到目标估计网络中，获得目标估计网络输出的、待识别帧中的目标物体所在的区域。本发明实施例的方法能够提高目标跟踪的准确性。

技术领域

本发明涉及图像处理技术领域，特别涉及一种目标跟踪方法、装置和计算机可读存储介质。

背景技术

在相关技术中，当对图像中的目标进行跟踪时，从图像中提取图像特征，然后根据图像特征进行目标跟踪。

发明内容

发明人经过进一步分析后发现，如果仅仅依靠提取的图像特征进行跟踪，在特定场景中会无法有效获得图片中的目标物体的特征。例如，在体育运动中，高速运动的球会产生形变和模糊；高速运动的物体会和背景产生混淆，例如飞行器会和背景的楼宇混淆；图像中除了目标物体以外，还出现了与目标物体属于同一类的物品或人。这些在运动物体的跟踪中都会影响跟踪算法，导致跟踪丢失或不准确。

本发明实施例所要解决的一个技术问题是：如何提高目标跟踪的准确性。

根据本发明一些实施例的第一个方面，提供一种目标跟踪方法，包括：根据视频流中待识别帧之前的帧中目标物体所在的区域，确定待识别帧的特征提取区域；根据待识别帧的像素信息，通过图像特征提取网络、从特征提取区域提取待识别帧的图像特征；根据待识别帧相对于之前的帧的光流信息，通过光流特征提取网络、从特征提取区域提取待识别帧的光流特征；将待识别帧的图像特征和光流特征进行融合，获得融合特征；将融合特征输入到目标估计网络中，获得目标估计网络输出的、待识别帧中的目标物体所在的区域。

在一些实施例中，通过对视频流中待识别帧之前的帧中目标物体所在的区域进行扩张，确定待识别帧的特征提取区域。

在一些实施例中，目标跟踪方法还包括：将融合特征输入到目标检测网络中，获得目标检测网络输出的、待识别帧中的目标物体的位置及其置信度；在置信度低于预设值的情况下，在待识别帧相对于之前的帧的光流信息中，基于在特征提取范围的光流信息进行局部搜索，获得具有局部最大速度的像素位置；基于具有局部最大速度的像素位置，重新确定特征提取范围，以便基于重新确定的特征提取范围重新确定待识别帧中的目标物体所在的区域。

在一些实施例中，目标检测网络包括分类卷积层、初始化层和预测层；将融合特征输入到目标检测网络中，获得目标检测网络输出的、待识别帧中的目标物体的位置及其置信度包括：将待识别帧的融合特征输入到目标检测网络的分类卷积层中，获得分类层特征；将待识别帧之前的帧中目标物体的预测的所在区域以及待识别帧输入到初始化层中，获得初始化特征；将分类层特征和初始化特征输入到预测层中，获得预测层输出的、待识别帧中的目标物体所在位置及其置信度。

在一些实施例中，待识别帧的像素信息包括待识别帧的红、绿、蓝通道中的像素值。

在一些实施例中，光流信息包括第一方向的通道和第二方向的通道中的相对移动信息，其中，每个通道中的相对移动信息是待识别帧中的像素在通道对应的方向上相对于之前的帧的移动信息。

在一些实施例中，通过预设的权重，将待识别帧的图像特征和光流特征进行融合，获得融合特征；或者，将待识别帧的图像特征和光流特征输入到特征融合网络中，获得特征融合网络输出的融合特征。

在一些实施例中，视频流中的首帧中目标物体的预测的所在区域是通过将首帧输入到物体检测器获得的。