[发明专利]一种多光谱光场成像方法

说明书

技术领域

本发明涉及计算机摄像学领域，特别涉及到一种多光谱光场成像方法。

背景技术

计算摄像学是一门将计算机视觉、数字信号处理、图形学等学科深度交叉的新兴研究方向，旨在结合计算、光学系统和智能光照等技术，将成像系统采集能力与计算机的处理能力相结合，从成像机理上来改进传统相机，并将硬件设计与软件计算能力有机结合，突破经典成像模型和数字相机的局限性，增强或者扩展传统数字相机的数据采集能力，全方位地捕捉真实世界的场景信息。开展场景光场光谱信息的相关研究工作，同时获取高空间、时间、光谱和方向分辨率的图像，这对于三维重建、安全侦察、数字娱乐等领域有重要意义。

在计算摄像学领域，通常使用7维全光函数f(x；y；z；θ；λ；t)对光信号进行描述：某一时刻t，在三维空间任意位置x；y；z，沿着方向θ；观察到频率为λ、强度为|f(x；y；z；θ；λ；t)|的光线。但是，经典成像模型是7维全光函数的一个2维投影子空间采样，仅在2维空间维度(x；y)上具有高采样能力，并进行RGB三色成像，而对其它维度的信息采样能力极其受限。但是从多光谱与视觉的技术原理来说，包含光线角度、场景深度、光谱等高维度的信息仅仅用RGB三个通道来代替，会失去大量细节，而这些包括深度和光谱的丰富细节往往能够揭示物体和场景光线的很多特性，也能在很多计算机视觉领域的工作获得长足进步。

现有高光谱技术对于传统成像技术进行扩展，能够获取多维光谱信息，但是根据技术要求和采集条件不同，采集系统大多都是通过牺牲空间分辨率或者时间分辨率来补偿光谱分辨率，并且丢失了深度信息。

Gershun在1936年提出光场的概念，将其定义为光辐射在空间各个位置向各个方向的传播，包含了一系列不同视角对同一场景的二维图像，描述了在常数时间t和波长λ下的全光函数，能够获取全视场范围内光源的空间角度信息，从而能够进一步进行几何重建和深度获取等应用。

目前市场上只有单一多光谱相机或者单一深度信息的相机，对于能够联合采集场景深度信息、多光谱信息以及角度信息的相机尚未诞生，而随着光场信息和光谱信息在识别上的重要性越来越大，设计一种能够同时进行光场和光谱信息采集的系统可以极大促进计算摄像学领域中针对场景信息重构的研究。

发明内容

针对上述现有技术中存在的缺陷，本发明的目的在于提出一种多光谱光场成像方法，可以实现光谱信息与光场信息的同时获取。

为达到上述目的，本发明采用以下技术方案：

一种多光谱光场成像方法，包括沿光路方向顺次设置的宽带滤波片阵列、异构相机阵列、控制板阵列和信息联合处理装置；其中，宽带滤波片阵列与异构相机阵列相互平行对齐；所述宽带滤波片阵列将场景光线进行滤波生成多个波长上的光谱光线，再分别入射到异构相机阵列中的各个相机；控制板阵列与所述异构相机阵列相连，以进行相机参数配置和同步触发控制，实现多路图像或视频信息同时采集并传输到信息联合处理装置；所述信息联合处理装置将获取的多路图像或视频进行存储或实时处理显示；所述信息联合处理装置的处理方法为：根据两两相机之间姿态不同获取的图像对的视差信息，训练基于孪生网络架构的卷积神经网络，对交叉光谱通道的双目图像对进行立体匹配以获取入射光线的角度信息，得到全视场范围内的光场信息；利用视差算法重建全视场范围内的深度信息；根据相机阵列内外参数，结合立体匹配和图像对齐算法进行相机校准和视场对齐，通过光谱解复用算法得到场景中任一像素点在任一相机视角下共3*M*N波段的多光谱信息，从而获取多光谱光场信息，其中M为异构相机阵列中每行的相机个数，N为异构相机阵列的行数，且M、N均为正整数。

所述宽带滤波片阵列由相关性最小(条件数最小)的M*N片共平面不同波段的滤波片构成，各滤波片分别置于各相机镜头和传感器中间，以保证最终光谱重建效果；所有滤波片的尺寸均相同。

所述异构相机阵列由M*N个共平面的商用彩色或者灰度相机构成，且光轴相互平行。优选地，所有相机的型号均相同。

对所述异构相机阵列进行内外参数配准，使得不同相机视场中的对应点位于同一水平或垂直对极线，以消除系统误差。

所述异构相机阵列中的相机同时拍摄，一次性获取M*N张图像或动态视频。

所述控制板阵列将多路信息以raw格式或者MPEG2视频流格式传输到信息联合处理装置。