[发明专利]基于双目可见光相机与热红外相机的目标识别方法

权利要求书

1.基于双目可见光相机与热红外相机的目标识别方法，其特征在于，包括：

S1、设计具有发热材料的伪随机阵列立体靶标，伪随机阵列立体靶标为立方体结构，每个面上均布有采用发热材料制成的环形圆点和实心圆点；

S2、采用双目可见光相机与热红外相机采集伪随机阵列立体靶标的图像；

S3、通过双目可见光相机采集的图像与世界坐标系下伪随机阵列立体靶标的位置关系，对双目可见光相机的两个摄像头的内外参数进行标定；

S4、对双目可见光相机两个摄像头进行立体矫正处理，并根据两个摄像头的内外参数，获取两个摄像头在世界坐标系之间的旋转和平移矩阵的位置关系；

S5、根据热红外相机采集的图像，对热红外相机的内外参数进行标定；

S6、对双目可见光相机的内外参数与热红外相机内外参数进行误差校正，并采用两个相机误差校正后的内外参数标定双目可见光相机与热红外相机的位置关系；

S7、采用sift特征检测算法对双目可见光相机的两个摄像头采集的图像进行双目立体视觉匹配，并根据匹配结果计算可见光双目三维点云；

S8、将热红外相机的温度信息与双目可见光相机的三维点云进行信息融合：

P_rgb＝H(RP_ir+T)

其中，P_rgb为双目可见光相机像平面坐标；H为可见光相机的单应性矩阵；R、T分别为双目可见光相机与热红外相机两者之间的旋转矩阵与平移矩阵；

S9、将信息融合结果输入已训练的深度神经网络训进行目标识别；

所述步骤S6具体包括以下步骤：

S61、采用双目可见光相机和热红外相机标定的内外参数对伪随机阵列立体靶标上的空间点通过透视投影、三角测量原理重建得到伪随机阵列立体靶标上三维空间点集和随机阵列立体靶标上的实际空间点构建误差函数：

其中，G(HH′)为三维空间点和与其对应的实际空间点的误差；M′_i为三维空间点集；M_i为实际空间点；|| ||为两点之间的欧式距离；

S62、采用LM优化算法优化最小化误差函数得到双目可见光相机和热红外相机的内外参数；

S63、采用双目标定原理，利用两个摄像头在世界坐标系之间的旋转和平移矩阵的位置关系标定可见光相机与热红外相机的位置关系，得到可见光相机与热红外相机两者之间的旋转矩阵与平移矩阵。

2.根据权利要求1所述的基于双目可见光相机与热红外相机的目标识别方法，其特征在于，所述步骤S4中两个摄像头在世界坐标系之间的旋转和平移矩阵的位置关系为：

其中，R_a,t_a分别为世界坐标系下的旋转和平移矩阵；P₁，P₂分别为两个摄像头立体矫正后的矫正变换矩阵；Q₁，Q₂分别为两个摄像头立体矫正后的重投影矩阵；R_g,t_g分别为两个摄像头矫正后，摄像头坐标系之间的旋转矩阵和平移矩阵。