[发明专利]一种基于视觉主动目标跟踪的机器人及其控制方法、系统

说明书

本申请提供了一种基于视觉主动目标跟踪的机器人及其控制方法、系统。机器人上搭载有视觉系统，视觉系统部署有多自由度的相机云台及视觉主动跟踪模型，相机云台用于对机器人视野中出现的目标对象进行检测，基于视觉主动目标跟踪的机器人控制方法包括：根据检测到的视野中出现的目标对象，提取目标对象的运动特征图像；基于视觉主动跟踪模型，根据目标对象的运动特征图像，对目标对象的运动进行预判，以对机器人本体和/或相机云台的位姿进行调整。籍此，由视觉主动跟踪模型通过强化学习对跟踪的目标对象的运动做出预判，从而控制机器人本体和/或相机云台根据预判提前做出调整，有效避免跟踪延时。

技术领域

本申请涉及机器人控制技术领域，特别涉及一种基于视觉主动目标跟踪的机器人及其控制方法、系统。

背景技术

机器人对目标对象的跟踪在智能跟随(跟随目标自主移动)、智能监控(基于运动识别，自动化监测一个场景以检测可以行为)、视觉导航(计算拍摄物体的运动轨迹)等应用场景有着广大的需求。

传统的实现方法是将图像中的目标跟踪和相机控制分成两个独立的任务，这导致系统在进行联调优化时变得繁琐复杂，要单独实现这两个任务的代价也是高昂的，既需要大量人工标注目标位置用于训练跟踪模块，也需要在真实系统中通过试错整定相机控制器参数。此外，传统的视觉跟踪方法仅仅专注于从连续帧中提取出关于目标的2D包围框，而没有考虑如何主动控制机器人和其相机云台的移动，属于“被动”跟踪，这将在跟踪物体时导致延时。

因此，需要提供一种针对上述现有技术不足的改进技术方案。

发明内容

本申请的目的在于提供一种基于视觉主动目标跟踪的机器人及其控制方法、系统，以解决或缓解上述现有技术中存在的问题。

为了实现上述目的，本申请提供如下技术方案：

本申请提供了一种基于视觉主动目标跟踪的机器人控制方法，所述机器人上搭载有视觉系统，所述视觉系统部署有多自由度的相机云台及视觉主动跟踪模型，所述相机云台用于对所述机器人视野中出现的目标对象进行检测，所述基于视觉主动目标跟踪的机器人控制方法包括：步骤S101、根据检测到的视野中出现的目标对象，提取所述目标对象的运动特征图像；步骤S102、基于所述视觉主动跟踪模型，根据所述目标对象的运动特征图像，对所述目标对象的运动进行预判，以对所述机器人本体和/或所述相机云台的位姿进行调整。

可选的，所述相机云台对检测到的视野中出现的目标对象进行拍摄，得到所述目标对象的拍摄图片；对应的，步骤S101具体为：基于卷积神经网络，对所述目标对象的拍摄图片进行特征提取，得到所述目标对象的运动特征图像。

可选的，在步骤S102中，基于所述视觉主动跟踪模型，根据所述目标对象的运动特征，对所述目标对象的运动进行预判，得到所述机器人本体和所述相机云台的调整策略；对所述调整策略与预设策略阈值进行对比，根据对比结果对所述机器人本体和/或所述相机云台的位姿进行调整。

可选的，所述预设策略阈值小于等于所述相机云台的调整范围；对应的，所述对所述调整策略与预设策略阈值进行对比，根据对比结果对所述机器人本体和/或所述相机云台的位姿进行调整，包括：响应于所述对比结果小于等于所述预设策略阈值，则根据所述调整策略对所述相机云台的位姿进行调整；响应于所述对比结果大于所述相机云台的调整范围，则根据所述调整策略同时对所述机器人本体和所述相机云台的位姿进行调整。

可选的，在步骤S101之前，还包括：对所述相机云台的历史拍摄图像进行特征提取，得到历史观测特征；其中，所述历史观测特征为对应的所述历史拍摄图像中拍摄对象的特征图像，所述历史拍摄图像有多个，每个所述历史拍摄图像对应一个所述历史观测特征；对多个所述历史观测特征进行融合，得到融合特征；其中，所述融合特征包含所述历史拍摄图像中拍摄对象的时序特征，所述时序特征包括所述历史拍摄图像中拍摄对象的速度和移动方向；根据所述融合特征，基于演员评论家算法构建所述视觉主动跟踪模型。