[发明专利]一种基于神经网络的巡检机器人视觉检测及跟踪方法

说明书

本发明公开了一种基于神经网络的巡检机器人视觉检测及跟踪方法，其包括步骤：1)机器人在移动过程中采集动态背景的环境图像；2)将采集到的图像进行预处理；3)在机器人本体上完成图像中人体目标和特定行为的检测，并保存满足特定行为的人体目标的大小、位置信息和特征；4)运用目标跟踪算法并控制机器人云台朝向使得特定目标始终位于图像中心位置；5)控制机器人运动跟随跟踪对象。本发明基于神经网络的巡检机器人视觉检测及跟踪方法，具有很强的自适应能力，在动态背景的场景下，对目标有较好的检测与跟踪效果，具有较高可靠性和鲁棒性。

技术领域

本发明涉及智能机器人技术领域，特别涉及一种巡检机器人视觉检测及跟踪方法。

背景技术

随着神经网络和机器人技术的快速发展，智能自主巡检机器人的研发和应用逐渐成为可能。传统人工巡检需要大量的人力，并且要求巡检人员时刻保持高度的注意力，对于大型的室内外场景，存在着各种不可控的因素，突发事件的不确定性，暴露出人工巡检方式固有的低效率高风险的缺点。因此开发一款能够自主巡检以及辅助人工巡检的智能巡检机器人就显得格外重要。

对于安全性和保密性较高的应用场景，要求智能巡检机器人不仅能完成既定区域的巡检，还需要能够辨识区域场景中的人员信息和行为，及时发现非法或有重大风险行为的人员并对其进行稳定跟踪，例如在禁止吸烟区域吸烟以及未按照要求着装等行为的人员，并上报异常信息，能够及时有效地避免危害安全和保密行为的发生，相较于事后查看监控溯源的方式更加节省人力和资源。

目前巡检机器人视觉跟踪的方法大部分采用机器人本体采集图像信息，上传服务器端进行信息处理的形式，并不能很好的利用机器人搭载的经济高性能的处理器，导致资源的浪费和稳定性、实时性的下降。同时传统的用于巡检机器人的人员跟踪算法高度依赖环境光照等因素的稳定性，人体被短时间遮挡时算法就会失效，并且对于人体外观的形变和快速移动鲁棒性较低。

发明内容

有鉴于此，本发明的目的是一种基于神经网络的巡检机器人视觉检测及跟踪方法，以解决让巡检机器人能够快速准确地检测出特定行为以及人体目标，提高机器人视觉跟踪的可靠性和鲁棒性等技术问题。

本发明基于神经网络的巡检机器人视觉检测及跟踪方法，包括步骤：

1)机器人在巡检移动过程中使用摄像头采集环境动态图像；

2)使用机器人搭载的嵌入式系统对视频图像进行预处理；

其特征在于：还包括以下步骤：

3)使用目标检测算法构建目标检测器，将预处理后的图像传入目标检测器，目标检测器对图像中人体和特定行为进行检测，对满足特定行为的人体目标记录人体深度特征以及人体大小和位置信息；

4)使用目标跟踪算法构建目标跟踪器，调用目标跟踪器跟踪图像中满足特定行为的人体目标，并控制机器人摄像头云台转动角度θ，使得跟踪对象能够时刻处于图像的中心位置，并开启测距传感器获取跟踪对象与机器人相隔位置d；如果存在多个满足特定行为的人体目标，选择人体检测框最大并且行为危险程度最高的人体目标作为跟踪对象，以行为危险程度为优先考量准则；

5)使用机器人搭载的运动控制器控制机器人运动跟随跟踪对象；

6)当跟踪目标长时间消失在画面中时，重置目标检测器和跟踪器，并删除人体目标，复位摄像头云台的位置。

进一步，在步骤2)中，使用机器人搭载的嵌入式系统对视频图像进行预处理，压缩图片尺寸为608*608，通道数为3的RGB格式。

进一步，在步骤3)中，所述的目标检测算法为yolov4算法；

在步骤4)中，所述的目标跟踪算法包括：