[发明专利]基于色彩图像和红外图像融合的即时定位与建图系统

说明书

本发明公开了一种基于色彩图像和红外图像融合的即时定位与建图算法，该算法可以适用于在光照充足环境以及低光照环境下的即时定位与建图。在具体实现过程中该算法主要通过提取色彩图像和红外图像中的特征点来创建同时包含色彩图像地图点和红外图像地图点的地图，并且在达到新的位置时通过获取到的新的信息来不断地更新已经创建好的地图，同时利用现有的地图定位出当前的位置。该算法由于同时使用了色彩图像和红外图像，因此综合考虑了周围环境的色彩信息和红外信息，从而使得该算法与传统的基于色彩图像的算法相比具有更高的光照鲁棒性、更好的适用范围，能够适用于使用色彩图像定位失败的低光照环境。

技术领域

本发明涉及图像的技术领域，更具体地，涉及基于色彩图像和红外图像融合的即时定位与建图系统。

背景技术

实时（即时）的定位与建图（SLAM）在机器人、无人车、无人机和增强现实（AR）应用中发挥着重要的作用。对于机器人和无人车，SLAM不可或缺，因为需要SLAM 模块在制定控制策略之前感知周围环境。对于近年来很热门话题——虚拟现实和增强现实，SLAM提供了他们所需的前提条件——重建环境3D地图。

然而当前基于色彩图像的SLAM系统都有一个共同的缺点，即它们只能在光照充足的环境中工作。当面对低光照环境时，现有技术的视觉方法将失去它们的功能，因为它们不能获得足够的色彩信息的特征或纹理来支撑系统的正常运行。红外相机可以通过接受周围场景的红外热辐射信息来获取物体的温度并进一步得到对应的红外热图像，该红外信息不直接依赖于光照强度，因此近年来红外相机开始被用在物体表面3D温度图像的建立以及定位与建图中。

虽然对于不能获得足够的色彩信息的低光照环境来说，红外传感器可以是很好的信息源，但是单独使用红外传感器进行定位会存在一个比较明显的问题，即基于红外传感器的定位系统需要周围环境的场景中存在一定的温度差异，对温度差异较小的环境定位系统会由于信息不足而失效。因此使用单独的红外传感器进行定位和建图会具有比较小适用范围，一般用于特定的场景，如变电站、机房控制室等特殊环境。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供基于色彩图像和红外图像融合的即时定位与建图系统，通过将环境的色彩信息和红外信息融合在一起实现即时的定位与建图。

本发明的技术方案是：基于色彩图像和红外图像融合的即时定位与建图系统，其中，包括定位模块、建图模块、优化模块三大部分，

定位模块基于已经被创建出来的包含红外特征地图点和色彩特征地图点的地图来进行，并且通过获取的色彩图像和红外图像来不断更新已经被创建的地图用于后续定位；

建图模块创建同时包含色彩图像特征和红外图像特征的地图点，并在定位完成时根据新的数据源不断的更新现有地图，以及对地图点中错误的坏点进行剔除；

回环优化模块通过回环探测的方式对创建好的全局地图进行优化，在进行回环探测时同时使用色彩图像和红外图像进行回环探测。

本发明与仅能提供色彩图像的光学相机不同，通过使用一些当前的双模式相机可以为同一场景提供色彩图像和热图像。色彩和热图像中的像素具有直接对应性，并且由相机的硬件来直接实现对应性的校正，因此基于这种图像像素之间的对应关系，我们可以通过将环境的色彩信息和红外信息融合在一起实现即时的定位与建图。

提出了一个新的单目即时定位与建图（SLAM）框架，与大多数现有的视觉SLAM方法（严重依赖于照明条件）不同，我们提出的框架通过融合色彩信息与红外信息来实现，因此有着更强的光照鲁棒性，可以适用于更具有挑战意义的场景，如室内或室外的低光照、低纹理环境。

具体的，色彩信息和红外信息的融合被放在图像的前端进行，即在色彩图像和红外图像之间寻找图像像素之间的相关性，并且通过图像像素之间的相关性完成信息融合后再执行之后的定位、建图、优化。