[发明专利]一种基于视觉主动目标跟踪的机器人及其控制方法、系统

权利要求书

1.一种基于视觉主动目标跟踪的机器人控制方法，其特征在于，所述机器人上搭载有视觉系统，所述视觉系统部署有多自由度的相机云台及视觉主动跟踪模型，所述相机云台用于对所述机器人视野中出现的目标对象进行检测，所述基于视觉主动目标跟踪的机器人控制方法包括：

步骤S101、根据检测到的视野中出现的目标对象，提取所述目标对象的运动特征图像；

步骤S102、基于所述视觉主动跟踪模型，根据所述目标对象的运动特征图像，对所述目标对象的运动进行预判，以对所述机器人本体和/或所述相机云台的位姿进行调整。

2.根据权利要求1所述的基于视觉主动目标跟踪的机器人控制方法，其特征在于，所述相机云台对检测到的视野中出现的目标对象进行拍摄，得到所述目标对象的拍摄图片；

对应的，

步骤S101具体为：基于卷积神经网络，对所述目标对象的拍摄图片进行特征提取，得到所述目标对象的运动特征图像。

3.根据权利要求1所述的基于视觉主动目标跟踪的机器人控制方法，其特征在于，在步骤S102中，

基于所述视觉主动跟踪模型，根据所述目标对象的运动特征，对所述目标对象的运动进行预判，得到所述机器人本体和所述相机云台的调整策略；

对所述调整策略与预设策略阈值进行对比，根据对比结果对所述机器人本体和/或所述相机云台的位姿进行调整。

4.根据权利要求3所述的基于视觉主动目标跟踪的机器人控制方法，其特征在于，所述预设策略阈值小于等于所述相机云台的调整范围；

对应的，

所述对所述调整策略与预设策略阈值进行对比，根据对比结果对所述机器人本体和/或所述相机云台的位姿进行调整，包括：

响应于所述对比结果小于等于所述预设策略阈值，则根据所述调整策略对所述相机云台的位姿进行调整；

响应于所述对比结果大于所述相机云台的调整范围，则根据所述调整策略同时对所述机器人本体和所述相机云台的位姿进行调整。

5.根据权利要求1-4任一所述的基于视觉主动目标跟踪的机器人控制方法，其特征在于，在步骤S101之前，还包括：

对所述相机云台的历史拍摄图像进行特征提取，得到历史观测特征；其中，所述历史观测特征为对应的所述历史拍摄图像中拍摄对象的特征图像，所述历史拍摄图像有多个，每个所述历史拍摄图像对应一个所述历史观测特征；

对多个所述历史观测特征进行融合，得到融合特征；其中，所述融合特征包含所述历史拍摄图像中拍摄对象的时序特征，所述时序特征包括所述历史拍摄图像中拍摄对象的速度和移动方向；

根据所述融合特征，基于演员评论家算法构建所述视觉主动跟踪模型。

6.根据权利要求5所述的基于视觉主动目标跟踪的机器人控制方法，其特征在于，所述对所述相机云台的历史拍摄图像进行特征提取，得到历史观测特征，具体为：

基于卷积神经网络，对所述相机云台的历史拍摄图像进行特征提取，得到所述历史观测特征。

7.根据权利要求5所述的基于视觉主动目标跟踪的机器人控制方法，其特征在于，所述对多个所述历史观测特征进行融合，得到融合特征，具体为：

基于长短期记忆人工神经网络，对多个所述历史观测特征进行融合，得到所述融合特征。

8.一种基于视觉主动目标跟踪的机器人控制系统，其特征在于，所述机器人上搭载有视觉系统，所述视觉系统部署有多自由度的相机云台及视觉主动跟踪模型，所述相机云台用于对所述机器人视野中出现的目标对象进行检测，所述基于视觉主动目标跟踪的机器人控制系统包括：

特征提取单元，配置为根据检测到的视野中出现的目标对象，提取所述目标对象的运动特征图像；

位姿调整单元，配置为基于所述视觉主动跟踪模型，根据所述目标对象的运动特征图像，对所述目标对象的运动进行预判，以对所述机器人本体和/或所述相机云台的位姿进行调整。

9.一种基于视觉主动目标跟踪的机器人，其特征在于，所述基于视觉主动目标跟踪的机器人上部署有权利要求1-7任一所述的基于视觉主动目标跟踪的机器人控制方法。