[发明专利]RGBD视频中基于局部刚性假设的场景流估计方法

权利要求书

1.RGBD视频中基于局部刚性假设的场景流估计方法，其特征在于，具体操作过程包括如下步骤：

步骤1，分别输入连续两帧RGB图像和深度图像，并计算连续两帧RGB图像之间的光流信息；

步骤2，根据坐标转换配准输入的深度图像和RGB图像，修复深度图像中的洞和消除噪声点；

步骤3，使用K-means算法对修复后的深度图像分层，将深度值接近的像素值分为同一层；

步骤4，使用局部刚性全局非刚性假设，将深度图像的每一层分成许多块，计算每一块的运动信息，得到深度图像的运动信息；具体过程如下：

根据步骤3得到的深度图像的分层信息，将每一层分为许多大小为3*3的块，每一个块具有相同的运动信息，不同的块之间存在有不同的运动信息；

假设第t桢RGB图像中的像素点α₁＝(x₁,y₁)在第t+1桢中对应点的像素为α₂＝(x₂,y₂)，则对应的光流信息为(u₁,v₁)＝(x₂-x₁,y₂-y₁)，第t桢RGB图像中的像素点α₁在对应的深度图像中对应的深度值为z₁，第t+1桢RGB图像中的像素点α₂在对应的深度图像中对应的深度值为z₂，则对应的深度变化为z＝z₂-z₁；

根据像素点的透视投影关系得到图像像素点α₁和α₂对应的3D空间点坐标如式(4)所示：

u＝X₂-X₁,v＝Y₂-Y₁,z＝z₂-z₁ (4)

式中，α₁₂＝(X₁,Y₁,Z₁)是像素点α₁对应的3D坐标，α₂₂＝(X₂,Y₂,Z₂)是像素点α₂对应的3D坐标，X₁,Y₁,Z₁,X₂,Y₂,Z₂,根据3D和2D之间的映射关系如式(5)得到：

式中，f_x,f_y和c_x,c_y分别是相机的焦距和畸变系数；场景的运动包含旋转R_tk和平移空间点α₂₂的坐标根据空间点α₁₂得到，如式(6)所示：

α₂₂＝R_t,kα₁₂^T+τ_t,k (6)

空间点α₂₂对应的图像坐标为则对应的场景流如式(7)-(9)所示：

其中，分别为水平，垂直和深度方向的变化；

步骤5，根据步骤1得到的RGB图像的光流信息和步骤4的深度图像的每一层的运动信息，计算得到最终的场景流信息。

2.如权利要求1所述的RGBD视频中基于局部刚性假设的场景流估计方法，其特征在于，所述步骤2中将深度图像中的噪声根据深度值为0的连通区域的大小区分为洞和噪声点，然后根据区域相似性和颜色一致性修补洞，采用双边滤波消除噪声点。