[发明专利]景深信息估算方法和装置

权利要求书

1.一种用于从叠焦图像中提取深度信息的方法，其特征在于，所述方法包括：

以包括多个分支的焦点卷积神经网络处理所述叠焦图像，以获得多幅特征图，每一所述分支均包括以不同步幅对所述叠焦图像进行降采样的降采样卷积层和对所述叠焦图像进行升采样的去卷积层；

使所述多幅特征图相叠；

通过多个第一卷积层融合所述多幅特征图，以获得一深度图

以扩展景深卷积神经网络处理所述叠焦图像，以获得一扩展景深图；

联结所述深度图和所述扩展景深图；以及

利用多个第三卷积层融合所述深度图和所述扩展景深图，以对所述深度图进行细化。

2.如权利要求1所述的方法，其特征在于，所述焦点卷积神经网络包括一参数修正线性单元层。

3.如权利要求1所述的方法，其特征在于，所述焦点卷积神经网络包括四个分支。

4.如权利要求1所述的方法，其特征在于，所述扩展景深卷积神经网络包括多个第二卷积层以及一参数修正线性单元层。

5.一种从立体图像中提取深度信息的方法，其特征在于，所述方法包括：

以立体卷积神经网络处理所述立体图像，以获得第二深度图，所述立体卷积神经网络包括由降采样部分和升采样部分组成的多个结构，其中，每一所述降采样部分包括与多个第一残差模块交错夹杂的多个最大池化层，每一所述升采样部分包括与多个第二残差模块交错夹杂的多个去卷积层；

以包括多个分支的焦点卷积神经网络处理第一叠焦图像，以获得多幅特征图，每一所述分支均包括以不同步幅对所述叠焦图像进行降采样的降采样卷积层和对所述叠焦图像进行升采样的去卷积层；

使所述多幅特征图相叠；

通过多个第一卷积层融合所述多幅特征图，以获得第一深度图；

以扩展景深卷积神经网络处理所述第一叠焦图像和第二叠焦图像，以获得包括第一扩展景深图和第二扩展景深图的所述立体图像；

联结所述第一深度图和所述第一扩展景深图；以及

利用多个第三卷积层融合所述第一深度图和所述第一扩展景深图，以对所述第一深度图进行细化。

6.如权利要求5所述的方法，其特征在于，所述降采样部分经包括第三残差模块的连接层与所述升采样部分连接。

7.如权利要求5所述的方法，其特征在于，所述立体卷积神经网络包括由降采样部分和升采样部分组成的两个结构。

8.如权利要求5所述的方法，其特征在于，所述焦点卷积神经网络包括一参数修正线性单元层。

9.如权利要求5所述的方法，其特征在于，所述焦点卷积神经网络包括四个分支。

10.如权利要求5所述的方法，其特征在于，还包括：

联结所述第一深度图和所述第二深度图；以及

利用多个第四卷积层融合所述第一深度图和所述第二深度图，以获得第三深度图。

11.一种从叠焦图像中提取深度信息的装置，其特征在于，包括：

一数据捕获单元，包括用于生成第一叠焦图像的第一数字摄像头；

一数据处理单元，包括一处理器和一存储器，所述存储器包含指令，所述指令在由所述处理器执行时使得所述处理器实施如下功能：

以包括多个分支的焦点卷积神经网络处理所述第一叠焦图像，以获得多幅特征图，每一所述分支均包括以不同步幅对所述叠焦图像进行降采样的降采样卷积层和对所述叠焦图像进行升采样的去卷积层；

使所述多幅特征图相叠；

通过多个第一卷积层融合所述多幅特征图，以获得第一深度图；

以扩展景深卷积神经网络处理所述第一叠焦图像，以获得第一扩展景深图，其中，所述扩展景深卷积神经网络包括多个第二卷积层以及一参数修正线性单元层；

联结所述第一深度图和所述第一扩展景深图；以及

利用多个第三卷积层融合所述第一深度图和所述第一扩展景深图，以对所述第一深度图进行细化。