[发明专利]一种多光谱光场成像方法

权利要求书

1.一种多光谱光场成像方法，其特征在于，包括沿光路方向顺次设置的宽带滤波片阵列、异构相机阵列、控制板阵列和信息联合处理装置；其中，宽带滤波片阵列与异构相机阵列相互平行对齐；所述宽带滤波片阵列将场景光线进行滤波生成多个波长上的光谱光线，再分别入射到异构相机阵列中的各个相机；控制板阵列与所述异构相机阵列相连，以进行相机参数配置和同步触发控制，实现多路图像或视频信息同时采集并传输到信息联合处理装置；所述信息联合处理装置将获取的多路图像或视频进行存储或实时处理显示；所述信息联合处理装置的处理方法为：根据两两相机之间姿态不同获取的图像对的视差信息，训练基于孪生网络架构的卷积神经网络，对交叉光谱通道的双目图像对进行立体匹配以获取入射光线的角度信息，得到全视场范围内的光场信息；利用视差算法重建全视场范围内的深度信息；根据相机阵列内外参数，结合立体匹配和图像对齐算法进行相机校准和视场对齐，通过光谱解复用算法得到场景中任一像素点在任一相机视角下共3*M*N波段的多光谱信息，从而获取多光谱光场信息，其中M为异构相机阵列中每行的相机个数，N为异构相机阵列的行数，且M、N均为正整数。

2.如权利要求1所述的一种多光谱光场成像方法，其特征在于，所述宽带滤波片阵列由相关性最小，即条件数最小的M*N片共平面不同波段的滤波片构成，各滤波片分别置于异构相机阵列中各相机镜头和传感器中间；所有滤波片的尺寸均相同。

3.如权利要求1所述的一种多光谱光场成像方法，其特征在于，所述异构相机阵列由M*N个共平面的彩色或者灰度相机构成，且光轴相互平行。

4.如权利要求1所述的一种多光谱光场成像方法，其特征在于，对所述异构相机阵列进行内外参数配准，使得不同相机视场中的对应点位于同一水平或垂直对极线，以消除系统误差。

5.如权利要求1所述的一种多光谱光场成像方法，其特征在于，所述异构相机阵列中的相机同时拍摄，一次性获取M*N张图像或动态视频。

6.如权利要求1所述的一种多光谱光场成像方法，其特征在于，所述控制板阵列将多路信息以raw格式或者MPEG2视频流格式传输到信息联合处理装置。

7.如权利要求1所述的一种多光谱光场成像方法，其特征在于，所述信息联合处理装置的处理方法中，通过遍历标准立体匹配彩色图像数据集KITTI2015的RGB三通道，获取三倍于原数据的训练集，进行卷积神经网络的参数训练。

8.如权利要求1所述的一种多光谱光场成像方法，其特征在于，所述图像对齐算法引入中间图像作为媒介，对于不同行且不同列的图像对，任意位置的对应点都可以通过中间图像进行对齐。

9.如权利要求1所述的一种多光谱光场成像方法，其特征在于，所述光谱解复用算法在目标函数中引入非负约束和平滑约束，使用投影梯度法获取光谱重建最优解：

s^=argmins||P-Cs||2+η||▿s||2]]>

s.t.s(i)≥0 for all i

其中，s＝[s₁,s₂,…s_N]^T为所求场景表面的重建多光谱信息，P＝[p₁,p₂,…p_N]^T为异构相机阵列通过立体配准对齐得到的单像素宽波段信息，表示结合相机响应曲线和滤波片传播曲线的光谱传感矩阵，是求导符号，η表示平滑约束权重。

10.如权利要求9所述的一种多光谱光场成像方法，其特征在于，平滑约束权重η的取值为0.01。