[发明专利]通过神经网络的自适应学习从图像确定深度的方法及其系统

权利要求书

1.一种用于从场景(I)的至少一个数字图像(R，T)确定所述场景(I)的深度的方法，所述方法包括以下步骤：

A.获取所述场景(I)的所述至少一个数字图像(R，T)；

B.根据所述至少一个数字图像(R，T)计算第一视差图(DM1)，其中所述第一视差图(DM1)由像素p_ij的矩阵组成，其中i＝1……M和j＝1……N，其中i和j分别指示所述第一视差图(DM1)的行索引和列索引，M和N是正整数；

C.通过神经网络从所述至少一个数字图像(R，T)计算第二视差图(DM2)；

D.选择与所述第一视差图(DM1)的相应像素p_ij相关的多个稀疏深度数据S_ij；

E.从所述第一视差图(DM1)提取所述多个稀疏深度数据S_ij；以及

F.通过所述多个稀疏深度数据S_ij来优化所述第二视差图(DM2)，利用与和所述稀疏深度数据S_ij相关联的所述场景(I)的所述深度相关的信息来训练所述神经网络的至少一部分。

2.根据前项权利要求所述的方法，其特征在于，所述稀疏深度数据S_ij是与所述第一视差图(DM1)的所述像素p_ij的集合相关的所述场景(I)的深度点值。

3.根据前述权利要求中任一项所述的方法，其特征在于，

所述步骤A由包括用于检测所述至少一个数字图像(R，T)的至少一个图像检测设备(10，11)的图像检测单元(1)来执行，

所述步骤B由第一处理单元(2)来执行，

所述步骤C由第二处理单元(3)来执行，并且

所述步骤D由滤波器(4)来执行，

其中所述第一处理单元(2)和所述第二处理单元(3)中的每个连接到所述图像检测设备(1)和所述滤波器(4)。

4.根据前项权利要求所述的方法，其特征在于，

所述第一处理单元(2)被配置用于通过立体视觉算法计算所述第一视差图(DM1)，和

所述第二处理单元(3)被配置用于通过所述神经网络计算所述第二视差图(DM2)。

5.根据前项权利要求所述的方法，其特征在于，所述神经网络是卷积神经网络，其中所述卷积神经网络包括：

提取单元(5)，所述提取单元被配置用于提取所述至少一个数字图像(R，T)的多个独特元素或特征(F₂,F₃,F₄,F₅,F₆)，以及

计算单元(7)，所述计算单元被配置用于计算与由所述提取单元(5)提取的所述特征(F₂,F₃,F₄,F₅,F₆)相关联的相应视差图(D′₂,D′₃,D′₄,D′₅,D′₆)。