[发明专利]一种获取场景4D信息的方法

说明书

技术领域

本发明属于基于可见光和红外图像传感器的光电成像技术领域，具体涉及一种获取场景真实信息的方法。 

背景技术

对于本身是三维立体的客观世界，传统的2D光电成像设备对场景进行成像时，只能得到三维世界的一个二维表示，损失掉了真实世界中的第三维信息，即距离维信息。在没有任何先验知识的情况下，人类是无法通过二维照片来估计物体的大小和距离。人类之所以能感知立体世界，是因为人类的双眼如同一套无与伦比的摄影系统，不仅具有非常高的动态范围、灵活可变的光圈、可变焦镜头，还具有立刻将光信号变成大脑可识别信号的能力，并且具有全部调整均于不经意间完成的强大功能。对于三维立体景物的还原，其最大的特点就是双眼对同一个场景所看到的影像角度不同。尽管两个眼睛的视距只有区区6.5厘米左右，但这个微小的视差已经足以区分左右眼看到的物体之间的细微差别。一旦我们的大脑接受到左右眼分别看到的这两个高度相关的信号之后，就能再大脑里面自动将左右眼看到的影像融合成为一个物体，不只具有上下左右，更有前后信息的充分表现，形成独具深度的立体视觉。双目立体视觉成像系统就是通过模仿人眼，将两个光电成像系统综合到一起来获取真实场景的立体成像，并通过三维立体显示器进行显示。因此，双目立体视觉成像系统可以称为3D成像系统。 

不论双目立体视觉3D成像系统还是传统的2D成像系统，一般都是在可见光波段对真实场景进行成像。而在可见光波段，无论是人眼还是各种可见光波段的成像系统，都无法感知到真实世界的温度信息。实际上，任何一个高于绝对零度的物体在红外谱段都会发射射线，这些射线所包含的能量被红外图像传感器捕捉后，就可以实现对真实世界的红外成像。由于处于不同温度的物体所发出的红外射线的能量不同，由此而得到的红外图像中包含有物体的温度信息。 

目前，基于可见光图像传感器的双目立体视觉成像技术和基于红外图像传感器的红外成像技术各自均比较成熟，但是将两者各自具有的优势结合起来形成4D影像的技术还尚未出现。 

本发明在实现4D影像合成的过程中，需要考虑图像配准和图像融合等问题。 

一、图像配准 

双目立体视觉成像系统主要是为了仿真人眼功能，针对于同一场景的从不同角度捕获的两幅图像，利用立体视觉原理，恢复其第三维信息的计算科学，其具体的算法包含相机标定、畸变校正、立体匹配、深度图的获取和三维重构等。其中立体匹配算法就是将两个成像系统看到的不同角度的场景中一些特征点进行匹配，只有找到好得匹配点的情况下才可以比较精确的计算出深度图进而进行三维重构。 

本发明中所采用的图像匹配方案与传统的双目立体视觉成像系统中所采用的立体匹配方法存在以下几处不同：(1)处理图像的数量不同。传统的双目立体视觉成像系统只考虑两幅可见光图像。而本发明中的图像匹配方法需要将两幅可见光图像和一幅红外图像综合考虑，找出存在于三幅图像之间的最佳匹配方案。(2)处理图像的分辨率不同。传统的双目立体视觉成像系统一般采用相同分辨率的两个图像传感器分别对左右眼的场景进行成像。而本发明中由于存在红外成像系统导致可见光图像和红外图像的分辨率会存在不一致的现象。由于制造工艺等的限制，一般的红外成像系统的图像分辨率都要小于可见光成像系统的图像分辨率。因此，在本发明的图像配准过程中就需要考虑三幅不同分辨率图像的匹配问题。 

二、信息融合 

红外传感器成的像的边缘在一定程度上都有模糊，空间分辨率较低只能显示出物体的轮廓，而可见光成像的边缘即物体的轮廓比较清楚，具有丰富的细节信息和色彩。这种对同一对象通过不同方式获取的数字图像数据之间，既具有互补性，又存在大量的冗余信息。如何从这些兼有互补性和冗余性的数字图像数据中有效地提取更有用、更精炼、质量更高的信息，为人为决策或人工智能决策系统提供决策依据，已经成为一个迫切需要得到解决的问题，数字图像融合技术就应运而生。数字图像融合技术是将多个传感器在同一时间(或不同时间)获取的关于某个场景的多谱段图像或者图像序列信息加以综合，生成一个新的有关此场景的解释，而这个解释是从单一图像中无法得到的。数字图像融合技术将不同来源、具有不同特点的数字图像数据各自的优势综合起来，弥补了单一数字图像上信息的不足。这样不仅扩大了各种信息的应用范围，而且大大提高了图像分析的精度。现在，数字图像融合技术已经广泛的应用于医学图像处理、反恐安全检测、国土探测、环境监测和灾害预警等领域。