[发明专利]应用深度学习的二维影像转三维影像的系统与方法

权利要求书

1.一种应用深度学习的二维影像转三维影像的系统，其包括：

一二维(Two-Dimension，2D)影像景深生成模块，包括：

一2D影像采集单元，用于接收至少一2D影像；以及

一景深计算单元，连接所述2D影像采集单元，用于进行至少一所述2D影像的至少一景深图的建立；

一新视角生成模块，连接所述景深计算单元，用于结合至少一所述2D影像与至少一所述景深图，以输出一三维(Three-Dimension，3D)影像；以及

一3D影像显示器，连接所述新视角生成模块，用于显示所述3D影像。

2.如权利要求1所述的应用深度学习的二维影像转三维影像的系统，其中，所述新视角生成模块包括一3D影像生成模块，所述3D影像生成模块应用3D的(Depth-Image-BasedRendering，DIBR)技术，将至少一所述2D影像与至少一所述景深图结合以输出所述3D影像。

3.如权利要求2所述的应用深度学习的二维影像转三维影像的系统，其中，所述新视角生成模块还进一步包括一空洞修复模块，以修复所述3D影像。

4.如权利要求1所述的二维影像转三维影像的系统，其中，所述景深计算单元应用卷积神经网络(Convolutional Neural Network，CNN)模型于至少一所述2D影像中，以获得至少一所述景深图。

5.如权利要求4所述的应用深度学习的二维影像转三维影像的系统，其中，所述卷积神经网络模型采用联合损失函数，其方程序程序为L＝I_depth+λI_grad+μI_normal，其中，λ与μ为子损失函数的权重系数、I_depth为全域景深图欧拉损失函数、I_grad为空间倒数损失函数以及I_normal为表面法向量点积误差损失函数。

6.如权利要求5所述的应用深度学习的二维影像转三维影像的系统，其中，所述全域景深图欧拉损失函数所述景深图空间倒数损失函数所述表面法向量点积误差损失函数其中，设di为影像(pix)的预测景深值，gi为标签景深值，影像误差可表示为e_i＝||d_i-g_i||，设分别表示图像任意坐标点在横轴方向与纵轴方向的索伯(Sobel)运算值。

7.一种应用深度学习的二维影像转三维影像的方法，其包括：

收集至少一2D影像，并将至少一所述2D影像传送至一景深计算单元进行至少一景深图的建立；

通过取样实现至少一所述2D影像的分辨率转换；

应用多个卷积神经网络(Convolutional Neural Network，CNN)模型进行至少一所述2D影像的至少一景深图预测；

用一新视角生成模块结合至少一所述2D影像与至少一所述景深图以生成一3D影像；以及

以单通道景深影像输出方式输出经过深度处理的所述3D影像。

8.如权利要求7所述的应用深度学习的二维影像转三维影像的方法，其中，所述新视角生成模块包括一3D影像生成模块与一空洞修复模块，所述3D影像生成模块应用以3D的(Depth-Image-Based Rendering，DIBR)技术，将至少一所述2D影像与至少一所述景深图结合以输出至少一所述3D影像，所述空洞修复模块修复至少一所述3D影像。

9.如权利要求7所述的应用深度学习的二维影像转三维影像的方法，其中，多个所述卷积神经网络模型采用联合损失函数，其方程序程序为L＝I_depth+λI_grad+μI_normal，其中，λ与μ为子损失函数的权重系数、I_depth为全域景深图欧拉损失函数、I_grad为空间倒数损失函数以及I_normal为表面法向量点积误差损失函数。

10.如权利要求9所述的应用深度学习的二维影像转三维影像的方法，其中，所述全域景深图欧拉损失函数所述景深图空间倒数损失函数所述表面法向量点积误差损失函数其中，设di为影像(pix)的预测景深值，gi为标签景深值，影像误差可表示为e_i＝||d_i-g_i||，设分别表示图像任意坐标点在横轴方向与纵轴方向的索伯(Sobel)运算值。