[发明专利]基于双流卷积神经网络的双目图像快速目标检测方法

说明书

本发明公开了一种基于双流卷积神经网络的双目图像快速目标检测方法，包括步骤：对双目摄像头进行标定，得到标定参数；根据标定参数对训练图像进行校正，训练隐式深度语义挖掘网络用于在双目图像上隐式地学习深度语义信息，训练多模态特征混合检测网络；将隐式深度语义挖掘网络输出的特征与多模态特征混合检测网络的特征通过通道串联的方式结合在一起，便组成双流卷积神经网络，利用训练图像训练双流卷积神经网络；通过双目摄像头获取测试图像，并对其进行校正，将校正后的图像输入到上述双流卷积神经网络中进行目标检测，得到目标检测结果。本发明可以综合利用RGB和深度语义信息的互补性，具有效率高、目标检测结果更准确的优点。

技术领域

本发明涉及视频监控中目标检测研究领域，特别涉及一种基于双流卷积神经网络的双目图像快速目标检测方法。

背景技术

目标检测的任务是，在图像中对感兴趣的目标物体位置进行确定，并对其类别进行识别。目标检测是人脸识别、目标跟踪等众多高级计算机视觉任务的基础。譬如，在人脸识别场景中，需要先对人脸进行检测，才能在特定区域中提取特征以验证身份；类似地，目标跟踪也需要先检测出目标位置，才能进行特征相似度的匹配以跟踪物体。当前目标检测已受到大量来自学术界和工业界的重视，被广泛应用于公共安防、智慧城市和自动驾驶等领域中。

当前的目标检测方法大致可以分为两种：

一、基于单目RGB图像的目标检测方法

该方法是目前目标检测领域中最主要的一个发展方向，其根据单张RGB图像，利用其中的颜色、纹理等特征，从而检测目标物体。然而，由于这种方法仅依赖RGB信息来进行检测，因此对于光照、颜色等因素的变动鲁棒性较差。具体地，一方面，在光照条件不好的情况下，目标在RGB上的特征会不再明显，基于单目RGB图像的目标检测方法往往会漏检此类目标。另一方面，对于一些表观相似的目标，如俯视视角下地上的脚印和行走的行人，基于单目RGB图像的方法往往也会容易将其混淆，把虚假目标误检成正样本。

二、基于双目视觉的目标检测方法

基于双目视觉的目标检测方法通过加装一个RGB摄像头，从双目RGB图像中可以获取图像的深度信息，当前这一深度信息往往通过视差图来表征。由于深度信息对光照、颜色并不敏感，因此将其与RGB结合，可以辅助解决一些单目RGB方法所面临的挑战，提高目标检测的效果。然而，当前基于双目视觉的目标检测方法应用过程比较繁琐，往往需要依赖视差图来进行计算——它们通常需要先在视差图上提取深度信息，然后再综合利用深度信息和RGB信息来进行目标检测。在实际的应用中，得到的原始数据是由摄像头捕获的双目RGB图像，而现有的基于双目视觉的方法需要先对双目图像计算视差图，然后再利用视差图和RGB来进行检测。这无疑不是端到端的方法，视差图的中间计算过程会使应用过程变得繁琐，影响了实际应用的效率。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于双流卷积神经网络的双目图像快速目标检测方法，该方法构建了一个双流卷积神经网络，具有效率高、目标检测结果更准确的优点。

本发明的目的通过以下的技术方案实现：基于双流卷积神经网络的双目图像快速目标检测方法，包括步骤：

(1)对双目摄像头进行标定，得到标定参数；

(2)根据标定参数对训练图像进行校正，训练隐式深度语义挖掘网络用于在双目图像上隐式地学习深度语义信息，训练多模态特征混合检测网络；将隐式深度语义挖掘网络输出的特征与多模态特征混合检测网络的特征通过通道串联的方式结合在一起，便组成双流卷积神经网络，利用训练图像训练双流卷积神经网络；

(3)通过双目摄像头获取测试图像，并对其进行校正，将校正后的图像输入到上述双流卷积神经网络中进行目标检测，得到目标检测结果。