[发明专利]多模态热源识别及三维空间定位系统、方法及存储介质

权利要求书

1.一种多模态热源识别及三维空间定位系统，其特征在于包括：

输入装置，用于获取输入数据的可见光特征图像、热像、深度信息；

标定装置，用于将所述可见光特征图像、热像以及深度信息三者进行标定，不同深度图像与热像的标定对应；热像图像坐标上的温度数据与深度信息对应，同时计算获得传感器内外参数，生成融合后的完整数据集或关系，获得空间上对应关联的多维数据集；

在标定三种传感器的位置关系时，标定装置同时集成可见光图案特征、温度特征、以及深度特征信息，并以任一种特征信息为基准，任一种特征信息外的两种数据以其基准进行矫正和标定，得到以其中某一个数据源的空间位置作为基准的内外参数标定关系，用于数据矫正与融合；

获取深度信息和可见光特征图像的设备为集成装置或分体装置；

获取深度信息和可见光特征图像的设备为分体装置，获取深度信息的设备包括测距点传感器、线传感器、面阵列传感器中的一种；

获取深度信息的设备为测距点传感器、线传感器、面阵列传感器：在标定板上的不同位置，具有高低不平的特征，测距点传感器、线传感器、面阵列传感器在测量到不同位置时分辨其高度差；将设备固定于某一支架上，通过支架旋转调整，通过距离读数确定其是否对准目标，对准后采集一组传感器数据，通过提取标定板上的特征，计算或测量产生距离差位置的特征在图像上的坐标位置，通过图像内参参数和坐标位置，利用三角函数求得特征与相机中轴线的水平、垂直夹角，再测量测距点传感器、线传感器、面阵列传感器与图像探测器安装位置关系，通过三角函数，求得相机与距离传感器间的xyz及三轴俯仰关系；取多次不同位置的测量数据通过包括平均，方差方法消除误差，完成标定。

2.根据权利要求1所述的多模态热源识别及三维空间定位系统，其特征在于，获取深度信息和可见光特征图像的设备为集成装置，还包括热像摄像头；

可见光摄像头与热像摄像头所覆盖的可视区域内，标定板移动范围内其所有特征至少被可见光摄像头与热像摄像头中的一种完全采集；且采集的部分数据可被可见光摄像头与热像摄像头的视角重叠区域同时完整采集；

内参参数通过标定板采集的数据以及经典的相机内参外参校准方法获得；外参参数，分别求出同一标定板位置相对于可见光摄像头与热像摄像头的相对位置后，获取多组不同标定板位置的数据进行误差校正得到可见光摄像头与热成像摄像头的相对空间位置信息以及以其中一个摄像头所在坐标系为准的xyz相对位置关系和3轴旋转角度差；通过深度传感器所采集的信息对应的可见光摄像头与热像摄像头的相对位置，获得可见光特征图像、热像、以及深度信息在同一空间内的位置关系；将热像图像和可见光图像上所采集的像素点，通过透视关系映射到深度信息的坐标上。

3.根据权利要求2所述的多模态热源识别及三维空间定位系统，其特征在于：映射到深度点云的坐标上时，将深度信息变化映射到热像、可见光图像上，从而为深度信息中的每一个坐标匹配相应的温度数据、可见光数据，深度信息坐标与热像、可见光图像上的坐标并非一一对应，通过包括插值法、就近法，获取相应的数据信息。

4.根据权利要求1所述的多模态热源识别及三维空间定位系统，其特征在于：获取深度信息的设备为测距点传感器，在标定板位置突出或凹陷或者镂空一个比点状测距范围略大的物体，标定板与点状激光传感器垂直放置，基本放置于点状激光传感器摄像头正中心，从近处到能清晰识别图案特征的极限距离之间间隔采集多组数据。

5.根据权利要求1所述的多模态热源识别及三维空间定位系统，其特征在于：采用测距线传感器、面阵列传感器，在线、面距离数据中提取标定板上高度差特征物体在水平激光线上的位置，利用标定板上的高度特征确定线激光在标定板上的准确位置，在标定板上存在至少两处特征，标定时，使线激光同时扫描到两处或更多出处特征；通过至少两处特征关系或连续变化的一组特征关系，求得标定板相对于线传感器、面阵列传感器中心的偏转角，图像特征数据中相比测距点传感器多计距离算传感器自身的滚转角，在求传感器与图像标定数据时将上述数据带入计算。