[发明专利]一种基于深度图感兴趣区域的移动机器人目标跟踪方法

说明书

本发明涉及一种基于深度图感兴趣区域的移动机器人目标跟踪方法，包括以下步骤：（1）利用深度学习方法提取目标区域；（2）建立目标对象的表观模型和运动模型；（3）基于深度图提取感兴趣区域；（4）控制移动机器人跟随目标；（5）更新目标对象的运动模型；（6）重复步骤(3)至步骤(5)，实现已建模目标对象的跟随。本发明利用目标的深度、彩色以及高度特征提取感兴趣区域，能有效利用深度信息进行目标跟踪，保证了移动机器人目标跟随的实时性和准确性。

技术领域

本发明属于计算机视觉技术在移动机器人目标跟踪领域的应用，尤其涉及一种基于深度图感兴趣区域的移动机器人目标跟踪方法。

背景技术

移动机器人对运动目标的跟踪是指移动机器人通过其携带的传感器实现对运动目标的检测、识别和跟踪，相关研究涉及多传感器处理、机器人定位、运动目标的位置估计和环境建图等方面内容。移动机器人作为人类的助手，如何在家庭、办公室等室内环境中进行快速准确的目标跟踪是其一个重要的研究方向，在人与机器人的交互协作、环境监控和以人为中心的机器人导航等场合具有广泛的应用前景。

运动目标跟踪问题可以理解为在连续的图像帧中，构建基于目标位置、速度、形状、纹理与色彩等有关特征的匹配问题，它一般由目标状态初始化、表观建模、运动估计及目标定位这四部分组成。目标状态的初始化一般采用人工标定或目标检测的方法进行实现。表观建模主要包括了对目标的视觉特征(颜色、纹理、边缘等)的描述，以及如何度量视觉特征之间的相似性，这是实现鲁棒跟踪的关键。运动估计则是采用某种运动假设来预估目标可能出现的位置，常用的运动估计方法有线性回归、均值漂移、隐马尔科夫模型、卡尔曼滤波以及粒子滤波等。最后，在表观建模与运动估计的基础上，采用最优化策略获取目标最可能的位置，实现对跟踪目标的定位。

目前发表的论文和公开的专利主要是对视频监控跟踪领域的目标跟踪方面的研究，针对机器人领域的目标跟踪方法还不多。苑晶等人提出了一种基于激光雷达与单目视觉融合的移动机器人运动目标跟踪方法(见苑晶,刘钢墩,孙沁璇.激光与单目视觉融合的移动机器人运动目标跟踪[J].控制理论与应用,2016,33(02):196-204)。该方法先设计一种基于单目视觉传感器的目标位置估计算法，获得目标的距离和角度信息，通过具有最优重要性函数和权重的粒子滤波器将激光雷达与单目视觉提取的目标距离和角度信息进行融合，实现对目标运动状态的准确估计。孙佳男等人提出了一种基于融合深度特征表达与似物性采样的目标跟踪方法(见孙佳男,孙俊.融合深度特征表达与似物性采样的目标跟踪算法[J].小型微型计算机系统,2018,39(01):84-88)。该方法在核相关滤波跟踪框架下，采用离线训练好的卷积神经网络，提取由低至高各个卷积层的目标特征图，层次化地构造目标外观模型，同时利用似物性采样机制，设计动态拒绝采样策略有效处理了目标的尺度变化，提高了跟踪性能。

申请号为201510822670.6的专利公开了一种基于深度梯度的目标跟踪方法。该方法通过对获取的待跟踪RGB-D视频序列的第一帧进行标定，提取RGB图像的方向直方图特征和深度图像的深度梯度信息对当前帧进行目标检测与跟踪，但该方法还不能有效地处理目标跟踪过程中的物体形变。申请号为201711247546.7的专利公开了一种结合深度信息的MeanShift机器人视觉跟踪方法。该发明首先提取跟踪模板，根据MeanShift算法迭代得到跟踪目标的位置，根据深度图对窗口进行自适应处理，再通过卡尔曼滤波结合相似度函数调整跟踪窗口，最后得到目标估计位置。但该方法尚不能有效处理行人遮挡或丢失问题，跟踪精度不高。申请号为201810080582.7的专利公开了一种基于跟踪-学习-检测的视觉目标跟踪方法。该方法在获得一帧图像后首先采用ImageNet预训练好的VGG-19卷积神经网络中的卷积层提取特征，然后通过相关滤波计算出响应图，进行多峰值检测，确定目标所在位置；当平均峰值能量APCE与当前峰值均大于历史均值时，判定跟踪成功，然后更新模型，并在线训练检测器；当APCE与历史均值的差大于特定值时，判定跟踪失败，然后不更新模型，同时调用检测器对跟踪器进行初始化。该方法需要使用卷积神经网络提取深度特征，使得整个跟踪过程的空间复杂度较高、耗时长。

发明内容