[发明专利]一种基于深度学习与混合现实技术的目标锁定系统

说明书

本发明公开一种基于深度学习与混合现实技术的目标锁定系统，包括智能移动平台、视野扫描模块、场景扫描模块、目标检测模块、坐标变换与混合显示模块和运动控制模块。本发明的目标锁定系统将目标检测信息绘制在混合现实界面，使用户更加直观发现目标物体，从而摆脱传统人机交互方式，实现虚实交互的目的。本发明将候选目标物体包围框绘制在用户视野前方，用户可以实时选择、更换待锁定物体，提高了云台锁定目标物体的便捷性、灵敏性。

技术领域

本发明涉及一种云台目标锁定技术领域。具体涉及一种利用深度学习与混合现实技术实现对目标物体进行精确跟随的系统。

背景技术

目标追踪作为计算机视觉领域的研究热点之一，基本形式是在视频流中发现目标物体并实时在若干帧中找到该目标的位置，以此引导云台锁定、跟踪物体。随着GPU（Graphic Processing Unit）计算能力飞跃提升，深度学习在计算机视觉上的发展，利用卷积神经网络的目标检测任务也越发普及。YOLO是一种端到端的目标检测模型，通过该网络可以识别出物体种类、置信度和基于图像的位置信息，Yolov5网络是对之前yolo系列网络的加强，在检测准确性，速度都有很大提升。

混合现实技术（MR,Mixed Reality）可以通过在真实场景中引入虚拟信息，结合全息影像，并通过触觉反馈、手势识别等建立虚拟场景、现实世界和用户三者之间的信息反馈。以Microsoft的HoloLens为代表的的MR设备，通过建立混合空间，增强操作者工作室沉浸感。

发明内容

本发明提供一种基于深度学习与混合现实技术的目标锁定系统，通过此系统，在增强用户体验的真实感、实时互动性的同时，解决目标场景信息更替缓慢，提高云台锁定、追踪物体的准确性与灵活性。

一种基于深度学习与混合现实技术的目标锁定系统，包括智能移动平台、视野扫描模块、场景扫描模块、目标检测模块、坐标变换与混合显示模块和运动控制模块；

所述智能移动平台主体为基于ROS系统的移动智能小车，该智能小车用于完成slam、导航、跟随任务，小车上层顶板安装有二自由度云台系统、摄像机和工控机；

所述视野扫描模块通过佩戴混合显示设备，利用设备自带的可见光摄像机和深度传感器获取操作者视野图像信息以及深度图信息，并发送给目标检测模块；

所述场景扫描模块通过搭建在ROS智能车上的相机实时扫描场景，获取场景信息，场景扫描随ROS智能车移动和云台转动不断更新，且根据指令判断是否需将扫描信息发送至目标检测模块，所述智能移动平台与操作者处于同一空间场景中；

所述目标检测模块涉及两个Yolov5目标检测网络，独立运行于工作站和工控机上，分别接收视野场景数据流和部署在移动平台上相机采集的数据流，然后基于训练得到的深度学习目标检测网络模型，对接收图像进行实时目标检测，被检测出的物体信息都包括：物体种类、物体编号、置信度、基于图像坐标位置，针对视野场景数据流将检测物体信息发送至坐标变换与混合显示模块，针对相机数据流将检测物体信息裁剪、滤波后发送至模板匹配模块和运动控制模块；

所述坐标变换与混合现实模块依据接收到的物体信息，将目标物体基于图像坐标转换为基于混合现实界面坐标，然后根据坐标关系，在混合显示界面绘制物体包围框，从用户视野观察包围框能够锁定目标物体，所述混合显示界面，控制面板上包含连接、绘制、选择、发送虚拟按钮分别用来控制场景数据传输、包围框绘制、选择待锁定目标和发送待锁定目标编号至模板匹配模块，所开发的虚拟场景，包含控制面板和虚拟包围框；

所述模板匹配模块依据混合显示模块发送的的目标编号将目标物体从视野数据流中裁剪，即裁剪掉目标物体区域外的其他图像，将目标物体与相机捕获物体进行模板匹配，找到目标物体基于相机图像的编号，将编号发送至运动控制模块；

所述运动控制模块接收模板匹配模块发送的目标编号，找到目标物体针对图像的位置信息，进而求得目标在图像中心点的坐标，在目标追踪过程中，通过转动云台带动摄像机旋转，从而使目标物体始终保持在相机图像的中心位置，对目标的跟踪角度进行计算，从而实时追踪目标物体；