[发明专利]一种非结构光场智能感知系统与装置

说明书

本发明提出一种非结构光场智能感知系统及装置，其中，系统包括：非结构异构高分辨成像单元，由至少一个全局相机以及多个长焦相机组成，用于将非结构异构高分辨成像单元中不同的异构像感器捕获的数据进行融合，得到第一融合图像；可变基线光场模块，由多个非结构异构高分辨成像单元组成，用于根据不同相机之间的可变基线对第一融合图像进行融合，得到第二融合图像；四环带立体全景采集模块，相机阵列由四组超广角像感器组成，用于将可变基线光场模块的得到的第二融合图像进行融合，获得环带全景图像。本发明具有非常好的鲁棒性与可拓展性，可以在大场景中提取出大范围精确的深度信息，灵活的非结构化局部相机的高分辨率画面可无缝嵌入全景图中。

技术领域

本发明涉及虚拟现实视频采集技术领域，尤其涉及一种非结构光场智能感知系统与装置。

背景技术

三维视觉是人类重要的感知途经，在人类的五大感知途径中，视觉占据了70%~80%的信息来源；而大脑有大约50%的能力都用于视觉信息与感知。而现有的图像采集方案多为二维方案，无法恢复整个三维场景，通过光场将三维世界中的光线集合完备地表示出来是一种高效的三维感知方案，这种完备的三维感知能力甚至可以超过人的视觉系统。目前相关的研究者已经提出了一系列光场采集的系统和理论，其中经典的设计方案包括：1）基于微透镜阵列（Microlens Array）的光场采集；2）基于相机阵列（Camera Array）的光场采集；3）基于编码掩膜（Coded Mask）的光场采集。

基于微透镜阵列的光场采集方案的主要缺点在于，光场视点图像分辨率损失严重，光场各视点之间的视差较小；基于阵列的光场采集方案主要缺陷在于系统臃肿复杂，硬件成本高，相机同步控制精度要求严格，数据传输压力大，相机阵列间相机标定复杂；基于编码掩膜的方法则损失了光线信号的强度，成像信噪比很低，并且需要通过压缩感知等算法恢复出采集的光场，保真度会大大降低。

因此，现有的光场系统，难以实现超宽视角超高清大范围的超越人类视觉感知能力的光场采集及感知。

基于从日常行为到复杂操作态大场景中录制视频时宽视场和高分辨的固有矛盾现有技术中缺乏一种鲁棒性高、质量高的虚拟现实内容生成的光场采集方法。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种非结构光场智能感知系统，通过多重异构像感器融合成像获取超宽视场超高分辨率图像及视频，可变基线精准重建技术实现大范围三维深度感知。同时本装置也突破了现有光场系统像感器遵从均匀分布的限制，不再依赖结构化、需精细标定的系统架构。

更进一步的，本发明的方法突破了长期制约光学像感器成像的时空带宽积瓶颈，将光场感知的数据通量由国际上最高千万级像素提高至亿级像素，也实现了宽视场高分辨动态光场实时三维。

本发明的第二个目的在于提出种非结构光场智能感知装置。

为达上述目的，本发明第一方面实施例提出了一种非结构光场智能感知系统，用于采集光场视频数据，所述系统包括：

非结构异构高分辨成像单元，由至少一个全局相机以及多个长焦相机组成，用于将所述非结构异构高分辨成像单元中不同的异构像感器捕获的数据进行融合，得到第一融合图像；

可变基线光场模块，由多个所述非结构异构高分辨成像单元组成，用于根据不同相机之间的可变基线对所述第一融合图像进行融合，得到第二融合图像；

四环带立体全景采集模块，所述四环带立体全景采集模块的相机阵列由四组超广角像感器组成，用于将所述可变基线光场模块的得到的所述第二融合图像进行融合，获得环带全景图像。