[发明专利]基于双目可见光相机与热红外相机的目标识别方法

说明书

本发明公开了一种基于双目可见光相机与热红外相机的目标识别方法，其包括通过双目可见光相机采集的图像与世界坐标系下伪随机阵列立体靶标的位置关系，对双目可见光相机的两个摄像头的内外参数进行标定，并获取两个摄像头在世界坐标系之间的旋转和平移矩阵位置关系；根据热红外相机采集的图像，对热红外相机的内外参数进行标定；标定双目可见光相机与热红外相机的位置关系；采用sift特征检测算法对双目可见光相机的两个摄像头采集的图像进行双目立体视觉匹配，并根据匹配结果计算可见光双目三维点云；将热红外相机的温度信息与双目可见光相机的三维点云进行信息融合；将信息融合结果输入已训练的深度神经网络训进行目标识别。

技术领域

本发明涉及智能监控领域，具体涉及一种基于双目可见光相机与热红外相机的目标识别方法。

背景技术

在视频监控中，对移动目标进行检测、识别并自动报警一直都是热门的研究问题，其在车辆安全、安全监控以及机器人技术等领域都有着重要的应用。过去十几年，行人检测技术已经有了很多成熟的算法，但至今依然存在许多问题和难点。在光照良好的情况下，仅需要可见光相机就可以获取纹理信息丰富图像，但在雨天、大雾、夜晚光照度低的情况下，可见光相机图像中目标特征不明显。红外视频图像和其他视频图像相比，其背景简单、干扰物较少，有利于检测目标轮廓。但是红外视频中的人形形态容易受外界因素干扰，比如衣服的材质、戴帽子围脖、距离的远近等，这使得镜头中的人形会出现拉伸、断裂，导致不易分辨出人形特征。

发明内容

针对现有技术中的上述不足，本发明提的基于双目可见光相机与热红外相机的目标识别方法在不同的天气环境下均具有较高的识别率。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于双目可见光相机与热红外相机的目标识别方法，其包括：

S1、设计具有发热材料的伪随机阵列立体靶标；

S2、采用双目可见光相机与热红外相机采集伪随机阵列立体靶标的图像；

S3、通过双目可见光相机采集的图像与世界坐标系下伪随机阵列立体靶标的位置关系，对双目可见光相机的两个摄像头的内外参数进行标定；

S4、对双目可见光相机两个摄像头进行立体矫正处理，并根据两个摄像头的内外参数，获取两个摄像头在世界坐标系之间的旋转和平移矩阵的位置关系；

S5、根据热红外相机采集的图像，对热红外相机的内外参数进行标定；

S6、对双目可见光相机的内外参数与热红外相机内外参数进行误差校正，并采用两个相机误差校正后的内外参数标定双目可见光相机与热红外相机的位置关系；

S7、采用sift特征检测算法对双目可见光相机的两个摄像头采集的图像进行双目立体视觉匹配，并根据匹配结果计算可见光双目三维点云；

S8、将热红外相机的温度信息与双目可见光相机的三维点云进行信息融合；

S9、将信息融合结果输入已训练的深度神经网络训进行目标识别。

进一步地，所述步骤S4中两个摄像头在世界坐标系之间的旋转和平移矩阵的位置关系为：

其中，R_a,t_a分别为世界坐标系下的旋转和平移矩阵；P₁，P₂分别为两个摄像头立体矫正后的矫正变换矩阵；Q₁，Q₂分别为两个摄像头立体矫正后的重投影矩阵；R_g,t_g分别为两个摄像头矫正后，摄像头坐标系之间的旋转矩阵和平移矩阵。

进一步地，所述步骤8中对热红外相机的温度信息与双目可见光相机的三维点云进行信息融合的计算公式为：