[发明专利]一种三维视频重定位方法

说明书

技术领域

本发明涉及一种图像信号的处理方法，尤其是涉及一种三维视频重定位方法。

背景技术

随着视频显示设备(例如智能手机、平板电脑、电视等)的快速发展与更新换代，具有不同分辨率和屏幕高宽比的显示终端设备充斥着人们的工作与生活。当需要显示的图像或视频的分辨率与屏幕的分辨率不相符时，如何在尽可能不改变用户观看体验的前提下，改变图像或视频内容的分辨率使之适应不同尺寸的显示设备，这就是重定位(retargeting)问题。当前解决这个问题的方法有：均匀缩放(uniformscaling)、裁切(cropping)和在屏幕边缘填充黑色边带(letterboxing)。然而，这些传统方法通常不能达到很好的用户体验效果，不能充分利用显示设备的尺寸优势，降低了用户的体验。

而对于视频的重定位而言，如果直接将细缝裁剪算法应用到视频，即单独处理视频中的每一帧，则会造成严重的抖动；同时，从视觉注意力的角度出发解构视频场景，深度这一维度信息可以很好地体现出人眼视觉注意力在前后背景内容上的区分度。因此，如何对三维视频进行缩放以减少图像形变、避免时域抖动、突出显著内容，从而降低视觉不舒适，都是在对三维视频进行重定位过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种能够有效地调整三维视频尺寸大小，且保持较高视觉舒适性的三维视频重定位方法。

本发明解决上述技术问题所采用的技术方案为：一种三维视频重定位方法，其特征在于包括以下步骤：

①待处理的原始三维视频序列由彩色视频序列和深度视频序列构成，假定彩色视频序列中包含的彩色图像的总帧数和深度视频序列中包含的深度图像的总帧数均为T，将彩色视频序列中t时刻的彩色图像记为{I_t(x,y)}，将深度视频序列中t时刻的深度图像记为{D_t(x,y)}，其中，T>1，1≤t≤T，1≤x≤W,1≤y≤H，W表示彩色视频序列中的彩色图像和深度视频序列中的深度图像的宽度，H表示彩色视频序列中的彩色图像和深度视频序列中的深度图像的高度，I_t(x,y)表示{I_t(x,y)}中坐标位置为(x,y)的像素点的像素值，D_t(x,y)表示{D_t(x,y)}中坐标位置为(x,y)的像素点的像素值；

②对由T帧彩色图像构成并呈三维立方体的彩色视频序列在X方向上进行采样，得到彩色视频序列的W个Y-T截面图像，将彩色视频序列的第x个Y-T截面图像记为{I_x(y,t)}，将{I_x(y,t)}中坐标位置为(y,t)的像素点的像素值记为I_x(y,t)，I_x(y,t)＝I_t(x,y)；同样，对由T帧彩色图像构成并呈三维立方体的彩色视频序列在Y方向上进行采样，得到彩色视频序列的H个X-T截面图像，将彩色视频序列的第y个X-T截面图像记为{I_y(x,t)}，将{I_y(x,t)}中坐标位置为(x,t)的像素点的像素值记为I_y(x,t)，I_y(x,t)＝I_t(x,y)；

③通过对彩色视频序列的每个Y-T截面图像进行低秩矩阵分解，获取彩色视频序列的每个Y-T截面图像的最优垂直方向运动矩阵，将{I_x(y,t)}的最优垂直方向运动矩阵记为同样，通过对彩色视频序列的每个X-T截面图像进行低秩矩阵分解，获取彩色视频序列的每个X-T截面图像的最优水平方向运动矩阵，将{I_y(x,t)}的最优水平方向运动矩阵记为然后根据彩色视频序列的每个Y-T截面图像的最优垂直方向运动矩阵和每个X-T截面图像的最优水平方向运动矩阵，获取彩色视频序列中每个时刻的彩色图像的运动显著图，将{I_t(x,y)}的运动显著图记为{M_t(x,y)}，其中，M_t(x,y)表示{M_t(x,y)}中坐标位置为(x,y)的像素点的像素值；

④将彩色视频序列中当前待处理的t时刻的彩色图像定义为当前彩色图像，记为{I_t(x,y)}；并将深度视频序列中与{I_t(x,y)}对应的深度图像定义为当前深度图像，记为{D_t(x,y)}，其中，此处t的初始值为2，2≤t≤T；