[发明专利]基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法

说明书

本发明公开了一种基于可穿戴视觉的机器人视觉跟踪控制系统及方法，包括：主端可穿戴遥操作控制装置，被配置为用于通过手势向从端机器人远程发送控制指令、接收从端机器人采集的数据，并执行手势识别算法和目标跟踪算法；从端机器人，被配置为接收控制指令，并根据所述控制指令执行相应的动作，并向主端可穿戴遥操作控制装置返回采集到的数据；所述主端可穿戴遥操作控制装置包括可穿戴摄像头和头戴显示模块，用于采集手势图像和显示从端机器人采集到的数据以及手势控制指令的运动轨迹。本发明设置的可穿戴控制系统可使操作员通过手势方便地控制移动机器人车载侦察系统快速瞄准目标与跟踪目标。

技术领域

本发明涉及移动机器人的远程控制技术领域，尤其涉及一种基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

移动侦察机器人通常是由移动机器人车体和车载侦察系统组成，它可以执行战场抵近侦察监视、目标瞄准、目标跟踪和目标打击等任务。传统的车载侦察系统一般是由两自由度的云台和摄像头组成，侦察系统的视角由云台的俯仰角和偏转角决定。为了使车载侦察系统的侦察视角更加自由更加灵活，也可以将云台替换为多自由度机械臂，并将摄像头安装在机械臂末端。

移动侦察机器人的控制器一般为带有按钮、摇杆、鼠标和监控屏幕的手持式控制箱。操作人员通过按钮和摇杆控制机器人运动，通过监控屏幕观察车载侦察系统反馈的视频。车载侦察系统在自动跟踪可疑目标前，操作人员需要在监控屏幕上通过人机交互设备手动框选可疑目标，其中最常用的人机交互设备是鼠标。

近些年来，出现了基于可穿戴设备的控制方式，其中较为常见的控制方式是使用佩戴数据手套或者惯性元件采集操作员的手势的姿态信息和惯性信息并以此来控制机器人；另一种较为常见的控制方式是使用可穿戴摄像头来捕捉操作员手势的图像信息，然后结合模式识别方法分析手势的种类，并根据手势种类信息实现对机器人行为的控制。相比传统的手持式控制箱，基于可穿戴设备的控制方式更加轻便，但是目前操作员还无法使用这种方式快速有效地在监控视频中选取待跟踪的可疑目标，这也导致使用可穿戴设备的控制方式无法快速有效地使机器人实现对可疑目标的瞄准、跟踪与击打。

发明内容

为了解决上述问题，本发明提出了一种基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法，通过可穿戴摄像头来识别操作员手势的轨迹，并将操作员手势的运动轨迹所划定的区域作为目标跟踪算法中的初始跟踪区域，实现对监控视频中待跟踪目标的手动选取，以解决现有基于可穿戴设备的控制方式无法快速有效地控制移动机器人瞄准目标、跟踪目标和击打目标的问题。

在一些实施方式中，采用如下技术方案：

一种基于可穿戴视觉的机器人视觉跟踪控制系统，包括：

主端可穿戴遥操作控制装置，被配置为用于通过手势向从端机器人远程发送控制指令、接收从端机器人采集的数据，并执行手势识别算法和目标跟踪算法；

从端机器人，被配置为接收控制指令，并根据所述控制指令执行相应的动作，并向主端可穿戴遥操作控制装置返回采集到的数据；

所述主端可穿戴遥操作控制装置包括可穿戴摄像头和头戴显示模块，分别用于采集手势图像和显示从端机器人采集到的数据以及手势控制指令的运动轨迹。

在另一些实施方式中，采用如下技术方案：

一种基于可穿戴视觉的机器人视觉跟踪控制方法，包括：

设置用于表示手势运动轨迹开始保存和停止保存的鼠标手型；

分别设置主端可穿戴遥操作控制装置可穿戴摄像头拍摄图像的坐标系和从端机器人拍摄图像的坐标系，以及从端机器人多自由度机械臂的末端坐标系；

主端可穿戴遥操作控制装置通过采集主端操作图像，判断图像中是否出现鼠标手型；