[发明专利]一种非结构光场智能感知系统与装置

权利要求书

1.一种非结构光场智能感知系统，其特征在于，用于采集光场视频数据，所述系统包括：

非结构异构高分辨成像单元，由至少一个全局相机以及多个长焦相机组成，用于将所述非结构异构高分辨成像单元中不同的异构像感器捕获的数据进行融合，得到第一融合图像；

可变基线光场模块，由多个所述非结构异构高分辨成像单元组成，用于根据不同相机之间的可变基线对所述第一融合图像进行融合，得到第二融合图像；

四环带立体全景采集模块，所述四环带立体全景采集模块的相机阵列由四组超广角像感器组成，用于将所述可变基线光场模块的得到的所述第二融合图像进行融合，获得环带全景图像；

所述可变基线光场模块的多个非结构异构高分辨成像单元自由组合成不同基线的光场成像系统，用于预设范围的深度感知；采用热稳定聚乳酸制成球形可变基光场支撑件用于支持各个非结构异构成像单元；每个非结构异构成像单元支撑件为六边形轻质铝合金框架，其中，单元支撑件提供多个额外安装锚点用于相机云台的安装；

所述四环带立体全景采集模块，用于使用交叉分辨率匹配算法查找全局-局部画面之间的匹配点，然后估计基于网格的多重单应性模型表示翘曲场，同样，应用线性Monge-Kantorovitch用于将局部相机的颜色样式映射到全局全景图，实现局部-全局的颜色一致性；将所有非结构异构成像单元的融合图像嵌入到所述四环带立体全景采集模块的全景图像中；

所述可变基线光场模块，用于利用可变基线精准重建算法，根据场景自适应调整光场基线长度；所述可变基线精准重建算法包括：所述四环带立体全景采集模块生成上下两个有视差的全景立体图像，利用所述可变基线光场模块生成的立体图像通过可变形神经网络使用共享的权重特征金字塔从所述两个有视差的全景立体图像中提取特征图；其中环带视差计算包括，使用可变形神经网络进行特征提取给每个采样点加一个通过额外的卷积层学习得到的偏置，利用不规则排列的卷积核对图像进行特征提取；

所述可变基线光场模块，还用于使用从粗到精的策略提取四个递减的空间分辨率特征图，采用跳过连接的编码器-解码器结构融合不同级别的特征图，并采用空间金字塔池化结构扩大接收和搜索范围；在完成特征提取后，利用提取到的特征图，选取的视差候选范围为0-384像素，构建候选视差x下的代价匹配量，将提取的所有特征图的所有像素向视差匹配方向移动x个像素之后使用该视差级别左右特征图之间的距离度量构建匹配代价量，形成通道数 C ，高度 H，宽度 W 和视差 D视差代价量，有四个不同的比例代价量分别为1/8,1/16,1/32,1/64，分别对应于四个粗糙到精细的特征金字塔，通过代价量反映在该候选视差下的代价匹配结果；基于所述代价匹配结果，采用堆叠的沙漏结构学习语义信息，优化结果的语义结构。

2.根据权利要求1所述的非结构光场智能感知系统，其特征在于，所述系统还包括：

渲染模块，用于根据分层渲染策略以实现环带全景自由视点渲染，所述渲染模块，包括：

原始层模块，用于采用原始层渲染高于阈值分辨率3D视频；

模糊层模块，用于采用模糊层处理画面中的拉扯问题；

动态层模块，用于采用动态层进行动态前景渲染层。

3.根据权利要求1所述的非结构光场智能感知系统，其特征在于，所述系统，还包括：

支撑件、相机云台和机架；

所述支撑件，用于支撑所述四环带立体全景采集模块以及所述可变基线光场模块；

所述相机云台，用于在所述非结构异构高分辨成像单元中，支撑所述不同的异构像感器；

所述机架，用于通过连接件支撑所述非结构光场智能感知系统。

4.根据权利要求1所述的非结构光场智能感知系统，其特征在于，所述非结构异构高分辨成像单元中的全局相机的视频数据中图像，基于特征的拼接算法估计所述全局相机的内外参数得到所述全局相机的预设位置，并使用非结构化嵌入将所述非结构异构高分辨成像单元中的局部相机的图像嵌入到所述全局相机的预设位置。