[发明专利]一种基于深度相机和视觉算法的自动跟随方法及装置

说明书

本发明提出了一种基于深度相机和视觉算法的自动跟随方法，解决了常规如蓝牙、超声、雷达等定位跟随方案存在需要人员佩戴信号收发设备，操作繁琐、跟随不稳定且成本较高等问题；而纯视觉的方案则由于普通相机缺乏准确的距离感知，包括如下步骤：S1、通过深度相机捕获当前环境图像帧Isubgt;t/subgt;；S2、通过SSD‑MobileNet目标检测模型检测当前帧Isubgt;t/subgt;，确认出图像中所有人员的像素坐标以及空间坐标位置，输出数据Psubgt;t/subgt;；S3、将当前环境图像帧Isubgt;t/subgt;与检测模型输出数据Psubgt;t/subgt;通过跟随算法输入，依据跟随算法当前所处阶段确定算法执行流程，S4、将跟随算法输出信息对应转换为设备移动指令，下发设备内部电机并驱动设备向人员方向移动。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于深度相机和视觉算法的自动跟随方法及装置。

背景技术

随着科学技术的不断发展，人类对于各类设备的便携性以及智能化的需求不断提升，其中就包括各类设备的智能跟随功能。当前市场上存在着各种支持自动跟随的产品，例如自动跟随的行李箱、棒球杆车、叉车等等。各类产品实现跟随的方式不尽相同，当前的设备跟随方式主要采用纯视觉、蓝牙/UWB/超声定位、激光雷达等方案。

通过蓝牙/UWB/超声等定位技术实现跟随功能的方案，需要人员佩戴相关信号收发设备，操作较为繁琐；使用雷达的方案则存在跟随不稳定和成本较高的问题；而纯视觉的方案则由于普通相机缺乏准确的距离感知，往往最终也无法达到理想的跟随效果。

发明内容

本发明要解决的技术问题是克服现有技术存在的缺陷，本发明提出了一种能够实时获取跟踪人员的空间方位基于深度相机和视觉算法的自动跟随方法及装置。

为解决上述技术问题，本发明采用的技术方案是：一种基于深度相机和视觉算法的自动跟随方法，包括如下步骤：

S1、通过深度相机捕获当前环境图像帧I_t；

S2、通过SSD-MobileNet目标检测模型检测当前帧I_t，确认出图像中所有人员的像素坐标以及空间坐标位置，输出数据P_t；

S3、将当前环境图像帧I_t与检测模型输出数据P_t通过跟随算法输入，依据跟随算法当前所处阶段确定算法执行流程，阶段包括，

初始化阶段，对距离设备最近的人员进行标识，同时对检测模型输出数据进行二次确认，

跟随阶段，提取所有检测到的人员特征，通过Online-Boosting在线学习模型对人员特征进行学习和判断，同时依据人员距离设备空间位置生成跟随算法输出信息；

S4、将跟随算法输出信息对应转换为设备移动指令，下发设备内部电机并驱动设备向人员方向移动。

进一步地，所述步骤S1中当前环境图像帧包括当前帧的RGB图像和景深图像，所述RGB图像用于识别图片中人员的像素坐标，所述景深图像用于获取环境中各人员的空间位置。

进一步地，所述步骤S2中SSD-MobileNet目标检测模型通过在MS COCO数据集上训练得到，其用以识别包含人员在内的91类物体。

进一步地，所述步骤S2中输出数据其中，表示被识别目标在图像中像素框的左上角和右下角坐标，为被识别目标在相机坐标系下的三维坐标，为水平方向坐标，为垂直方向坐标，为相机光轴方向坐标，为被识别目标是否为追踪人员的标识位。

进一步地，所述步骤S3中设备为机器人，对应跟随算法输出信息包括机器人运动速度V_t＝{v_x,w}，其中，v_x为机器人的前进速度，w为机器人的转向角速度。