[发明专利]一种基于有监督数据驱动的单目视频深度估计方法

权利要求书

1.一种基于有监督数据驱动的单目视频深度估计方法，其特征在于，包括以下步骤：

(1)获取样本视频序列以及相应的深度序列，作为训练数据集合；

(2)使用基于跟踪的超像素分割方法对训练数据集合进行分割，提取各个分割单元的z类图像特征；

(3)构建结合卷积神经网络与时空条件随机场的网络模型；

(4)使用步骤(1)中的训练数据集合以及步骤(2)中得到的分割结果与相应特征，对步骤(3)中的深度时空卷积神经网络场模型进行训练，得到训练后的网络模型；

(5)对待估计的视频序列进行分割，提取各个分割单元的特征；

(6)将待估计的视频序列以及步骤(5)的分割结果与相应特征，输入步骤(4)已经训练好的模型中，得到深度序列。

2.根据权利要求1所述的基于有监督数据驱动的单目视频深度估计方法，其特征在于，所述网络模型包括：

特征提取单元，用于对视频序列进行卷积，对卷积响应进行稀疏化和非线性化处理，最后选取最大值作为图像特征；

特征投影单元，用于将图像特征投影到超像素上得到超像素特征；

深度回归单元，用于对超像素特征进行回归得到超像素深度值；

结构化输出单元，用于构建深度概率模型：

其中，X表示视频序列，Y表示深度序列；E表示能量函数；Z()表示归一化因子，定义如下：

Z(X)＝∫_yexp{-E(Y,X)}dy

符号解释如下：

p表示某个超像素，N表示序列中所有超像素的集合，(p,q)表示超像素对，Π表示存在时空连接的超像素对组成的集合，z表示图像特征的类别数量；

z_p(θ)表示超像素p通过以θ为参数的深度回归单元的输出结果，y_p表示超像素p最终的深度估计值；

R_pq表示超像素对(p,q)的相似程度，由空间相似程度与时间运动程度组成，β_k表示第k类特征的权重，β_Z+1表示时间运动程度的权重；表示步骤(2)中得到的z类图像特征的第k类特征，由以上z类图像特征共同组成空间相似程度T_pq表示步骤(2)中得到的超像素对的光流特征，也表示为超像素运动程度

3.根据权利要求2所述的基于有监督数据驱动的单目视频深度估计方法，其特征在于，将卷积特征上采样到原图像尺寸，然后按照超像素分割的划分结果将对应位置的图像特征作为该位置超像素特征。

4.根据权利要求1所述的基于有监督数据驱动的单目视频深度估计方法，其特征在于，所述特征包括颜色特征、纹理特征与运动特征。