[发明专利]一种立体视频重定位方法

权利要求书

1.一种立体视频重定位方法，其特征在于包括以下步骤：

步骤一：将待处理的原始立体视频序列中当前待处理的第t帧左视点视频图像和第t帧右视点视频图像对应定义为当前左视点视频图像和当前右视点视频图像；其中，t为正整数，t的初始值为1，1≤t≤frame-1，待处理的原始立体视频序列中包含的左视点视频图像的总帧数为frame帧，待处理的原始立体视频序列中包含的右视点视频图像的总帧数也为frame帧，frame为正整数，frame＞1，待处理的原始立体视频序列中包含的左视点视频图像和右视点视频图像的宽度为W且高度为H，W和H均能被8整除；

步骤二：将当前左视点视频图像和当前右视点视频图像对应记为和然后采用基于光流的视差估计方法，计算与的左视差图像，记为其中，1≤x≤W，1≤y≤H，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；

步骤三：将分割成个互不重叠的尺寸大小为8×8的四边形网格，将中的第k个四边形网格记为并将中的所有四边形网格构成的集合记为其中，k为正整数，k的初始值为1，1≤k≤M，M表示中包含的四边形网格的总个数，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置及深度值的集合来描述，以的水平坐标位置和垂直坐标位置及深度值的集合来描述，以的水平坐标位置和垂直坐标位置及深度值的集合来描述，以的水平坐标位置和垂直坐标位置及深度值的集合来描述，根据中与对应的像素点的像素值计算得到，根据中与对应的像素点的像素值计算得到，根据中与对应的像素点的像素值计算得到，根据中与对应的像素点的像素值计算得到；

步骤四：采用基于图论的视觉显著模型提取出的显著图，记为然后根据和获取的三维显著图，记为其中，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；

步骤五：采用基于光流的估计方法，计算与的运动矢量，记为其中，表示中坐标位置为(x,y)的像素点对应的运动矢量，用于表示水平方向，用于表示垂直方向，表示的水平偏移量，表示的垂直偏移量，表示待处理的原始立体视频序列中的第t+1帧左视点视频图像，表示中坐标位置为(x,y)的像素点的像素值；

步骤六：根据和获取中的所有互不重叠的尺寸大小为8×8的四边形网格，将中的第k个四边形网格记为并将中的所有四边形网格构成的集合记为其中，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置及深度值的集合来描述，表示中坐标位置为的像素点对应的运动矢量的水平偏移量，表示中坐标位置为的像素点对应的运动矢量的垂直偏移量，以的水平坐标位置和垂直坐标位置及深度值的集合来描述，表示中坐标位置为的像素点对应的运动矢量的水平偏移量，表示中坐标位置为的像素点对应的运动矢量的垂直偏移量，以的水平坐标位置和垂直坐标位置及深度值的集合来描述，表示中坐标位置为的像素点对应的运动矢量的水平偏移量，表示中坐标位置为的像素点对应的运动矢量的垂直偏移量，以的水平坐标位置和垂直坐标位置及深度值的集合来描述，表示中坐标位置为的像素点对应的运动矢量的水平偏移量，表示中坐标位置为的像素点对应的运动矢量的垂直偏移量；

步骤七：计算中的所有四边形网格对应的目标四边形网格的形状保持能量，记为计算中的所有四边形网格对应的目标四边形网格的时域一致能量，记为计算中的所有四边形网格对应的目标四边形网格的视差重映射能量，记为

步骤八：根据和计算中的所有四边形网格对应的目标四边形网格的总能量，记为E_total，然后通过最小二乘优化求解得到中的所有四边形网格对应的最佳目标四边形网格构成的集合，记为接着根据计算中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，将对应的最佳目标四边形网格的最佳相似变换矩阵记为其中，为的加权参数，为的加权参数，为的加权参数，min()为取最小值函数，表示中的所有四边形网格对应的目标四边形网格构成的集合，表示对应的最佳目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，和对应表示的水平坐标位置、垂直坐标位置和深度值，和对应表示的水平坐标位置、垂直坐标位置和深度值，和对应表示的水平坐标位置、垂直坐标位置和深度值，和对应表示的水平坐标位置、垂直坐标位置和深度值；

步骤九：根据中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，计算中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置及深度值，将中任意水平坐标位置为和垂直坐标位置为的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置及深度值对应记为和及然后根据中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置及深度值，获取经重定位后的重定位左视点视频图像，记为接着获取经重定位后的左视差图像，记为将中坐标位置为(x',y')的像素点的像素值记为其中，重定位左视点视频图像的宽度为W'，重定位左视点视频图像的高度为H，表示中水平坐标位置为和垂直坐标位置为的像素点的深度值，1≤x'≤W'，1≤y'≤H，表示中坐标位置为(x',y')的像素点的像素值，e表示待处理的原始立体视频序列的左视点与右视点之间的水平基线距离，D表示待处理的原始立体视频序列的左视点和右视点与显示器之间的观看距离，表示显示器的水平宽度，表示显示器的水平分辨率；

步骤十：根据和获取经重定位后的重定位右视点视频图像，记为将中坐标位置为(x',y')的像素点的像素值记为其中，表示中坐标位置为的像素点的像素值；

步骤十一：令t＝t+1；然后将待处理的原始立体视频序列中当前待处理的第t帧左视点视频图像和第t帧右视点视频图像对应作为当前左视点视频图像和当前右视点视频图像；再返回步骤二继续执行，直至获得待处理的原始立体视频序列中的前frame-1帧左视点视频图像对应的重定位左视点视频图像和前frame-1帧右视点视频图像对应的重定位右视点视频图像，进而得到包含frame-1帧重定位左视点视频图像和frame-1帧重定位右视点视频图像的重定位立体视频序列；其中，t＝t+1中的“＝”为赋值符号。