[发明专利]一种基于深度学习与混合现实技术的目标锁定系统

权利要求书

1.一种基于深度学习与混合现实技术的目标锁定系统，其特征在于，包括智能移动平台、视野扫描模块、场景扫描模块、目标检测模块、坐标变换与混合显示模块和运动控制模块；

所述智能移动平台主体为基于ROS系统的移动智能小车，该智能小车用于完成slam、导航、跟随任务，小车上层顶板安装有二自由度云台系统、摄像机和工控机；

所述视野扫描模块通过佩戴混合显示设备，利用设备自带的可见光摄像机和深度传感器获取操作者视野图像信息以及深度图信息，并发送给目标检测模块；

所述场景扫描模块通过搭建在ROS智能车上的相机实时扫描场景，获取场景信息，场景扫描随ROS智能车移动和云台转动不断更新，且根据指令判断是否需将扫描信息发送至目标检测模块，所述智能移动平台与操作者处于同一空间场景中；

所述目标检测模块涉及两个Yolov5目标检测网络，独立运行于工作站和工控机上，分别接收视野场景数据流和部署在移动平台上相机采集的数据流，然后基于训练得到的深度学习目标检测网络模型，对接收图像进行实时目标检测，被检测出的物体信息都包括：物体种类、物体编号、置信度、基于图像坐标位置，针对视野场景数据流将检测物体信息发送至坐标变换与混合显示模块，针对相机数据流将检测物体信息裁剪、滤波后发送至模板匹配模块和运动控制模块；

所述坐标变换与混合现实模块依据接收到的物体信息，将目标物体基于图像坐标转换为基于混合现实界面坐标，然后根据坐标关系，在混合显示界面绘制物体包围框，从用户视野观察包围框能够锁定目标物体，所述混合显示界面，控制面板上包含连接、绘制、选择、发送虚拟按钮分别用来控制场景数据传输、包围框绘制、选择待锁定目标和发送待锁定目标编号至模板匹配模块，所开发的虚拟场景，包含控制面板和虚拟包围框；

所述模板匹配模块依据混合显示模块发送的的目标编号将目标物体从视野数据流中裁剪，即裁剪掉目标物体区域外的其他图像，将目标物体与相机捕获物体进行模板匹配，找到目标物体基于相机图像的编号，将编号发送至运动控制模块；

所述运动控制模块接收模板匹配模块发送的目标编号，找到目标物体针对图像的位置信息，进而求得目标在图像中心点的坐标，在目标追踪过程中，通过转动云台带动摄像机旋转，从而使目标物体始终保持在相机图像的中心位置，对目标的跟踪角度进行计算，从而实时追踪目标物体；

本系统的操作步骤如下：分别在Hololens中打开混合显示界面，在本地端打开目标检测网络，在远程端打开场景扫描节点，用户隔空敲击控制面板上连接按钮，本地端开始接收视野图像并实时目标检测，点击绘制按钮，Hololens接收物体位置坐标并绘制矩形框包围物体，点击选择、发送按钮本地端接收目标物体编号并发送至远程端，远程端接收编号后开始对相机图像目标检测、将被检测物体与其对应基于相机图像的编号发送服务端进行模板匹配，匹配结果是找到目标物体对应在相机图像的编号，远程端接收编号后对目标实时定位、追踪。