[发明专利]多模态热源识别及三维空间定位系统、方法及存储介质

说明书

本发明公开了一种多模态热源识别及三维空间定位系统、方法及存储介质，对输入的可见光图像、热像、深度点云获取各自的信息；将所述的输入装置中的可见光特征图像、热像、以及深度信息三者进行标定，不同景深的彩色图像与热像图像的标定对应，消除双光融合后的信息错位；热像图像坐标上的温度数据与深度信息对应，矫正检测的温度偏差，最后得到传感器内外参数的标定方法与装置，并生成融合后的完整数据集/关系，从而获得空间上对应的多维数据；本发明在移动中的火源识别与位置定位，移动中的无接触式人体体温检测，在更大距离区间内热像数据与图像数据的精确对齐、动态距离变化中的物体测温准确性等方面提高性能。

技术领域

本发明涉及热源追踪、热成像、视觉感知、图像识别、图像定位领域，更具体地涉及一种多模态光谱信息识别及三维空间定位方法。

背景技术

当前以热成像为主热源图像识别、已经有较多的应用，比如火灾检测、热源检测、热红外夜视等，但是少有能够将热成像、可见光、深度信息精确融合的技术。

现有的纯热成像图像识别技术，具有信息不完整，可实现的业务应用场景小，只有温度信息，缺少可见光信息，不便判断对象，如人脸，车牌等信息。

现有的可见光(包括普通红外光)的对象识别技术，难以实现对一些特定物体的准确识别，比如火，但是热像却能够通过温度识别快速做出判断。

现有的可见光与热红外的双光融合技术，缺少距离信息，特别是热像与可见光摄像头重叠视角范围内的深度信息，导致热像数据与可见光像素的匹配、热像数据的温度数值随着距离变化存在较大的测量误差。

发明内容

1、本发明的目的

本发明为解决三维空间内实时可见光/近红外、热成像、点云等深度信息的实时同步采集与融合；提升相关数据信息的融合采集能力与准确性，为后端处理提供一种多模态融合的数据信息，提升业务应用的可能性与准确性，而提出了一种多模态火源识别及三维空间定位系统及方法。

2、本发明所采用的技术方案

一种多模态热源识别及三维空间定位系统，包括：

对输入的可见光图像、热像、深度信息获取各自的信息；

将所述的输入装置中的可见光特征图像、热像、以及深度信息三者进行标定，不同深度的彩色图像与热像图像的标定对应，消除双光融合后的信息错位；热像图像坐标上的温度数据与深度信息对应，矫正检测的温度偏差，并同时标定传感器内外参数，生成融合后的完整数据集或关系，从而获得空间上对应关联的多维数据集；

在标定三种传感器的位置关系时，标定装置同时集成可见光图案特征、热红外特征(温度特征)、以及深度特征信息，并以任意一种为基准，另外两种数据以其基准进行矫正和标定，得到以其中某一个数据源的空间位置作为基准的内外参数标定关系，用于数据矫正与融合。

优选的，获取深度信息和可见光特征图像的设备为集成装置或分体装置。

优选的，获取深度信息和可见光特征图像的设备为集成装置，可输出内置标定的彩色图像与深度信息；

可见光摄像头与热像摄像头所覆盖的可视区域内，标定板移动范围内其所有特征至少被可见光摄像头与热像摄像头中的一种完全采集；且采集的部分数据可被可见光摄像头与热像摄像头的视角重叠区域同时完整采集；

内参参数通过标定板采集的数据以及经典的相机内参外参校准方法获得；外参参数，分别求出同一标定板位置相对于可见光摄像头与热像摄像头的相对位置后，获取多组不同标定板位置的数据进行误差校正得到可见光摄像头与热成像摄像头的相对空间位置信息以及以其中一个摄像头所在坐标系为准的xyz相对位置关系和3轴旋转角度差；从而深度传感器所采集的信息对应的可见光摄像头位置关系，获得可见光特征图像、热像、以及深度信息在同一空间内的位置关系；将热像图像和可见光图像上所采集的像素点，通过透视关系映射到深度信息的坐标上。