[发明专利]一种视频显著图提取方法

摘要

发明公开了一种视频显著图提取方法，其首先通过对二维视频在时域上、在水平方向及在垂直方向进行采样，分别得到X-Y截面图像、X-T截面图像和Y-T截面图像，然后通过对X-T截面图像和Y-T截面图像进行低秩矩阵分解提取出X-Y截面图像的运动显著图，对X-Y截面图像的特征矢量进行低秩矩阵分解提取出X-Y截面图像的空间显著图，最后对运动显著图和空间显著图进行融合，得到最终的视频显著图，优点是所获得的视频显著图能够较好地反映视频的静态和动态区域的显著变化情况，符合人眼运动显著语义的特征。

主权项

一种视频显著图提取方法，其特征在于包括以下步骤：①对呈三维立方体的二维视频在时域上进行采样，得到二维视频的T个X‑Y截面图像，即得到二维视频的T个时刻的视频帧，将二维视频中的t时刻的视频帧记为{It(x,y)}，将{It(x,y)}中坐标位置为(x,y)的像素点的像素值记为It(x,y)，其中，T表示二维视频中包含的视频帧的总帧数，1≤t≤T，1≤x≤W，1≤y≤H，W表示二维视频中各时刻的视频帧的宽，H表示二维视频中各时刻的视频帧的高；同样，对呈三维立方体的二维视频在X方向上进行采样，得到二维视频的W个Y‑T截面图像，将二维视频中的第x个Y‑T截面图像记为{Ix(y,t)}，将{Ix(y,t)}中坐标位置为(y,t)的像素点的像素值记为Ix(y,t)，Ix(y,t)=It(x,y)；同样，对呈三维立方体的二维视频在Y方向上进行采样，得到二维视频的H个X‑T截面图像，将二维视频中的第y个X‑T截面图像记为{Iy(x,t)}，将{Iy(x,t)}中坐标位置为(x,t)的像素点的像素值记为Iy(x,t)，Iy(x,t)=It(x,y)；②对二维视频中的每个Y‑T截面图像进行低秩矩阵分解，并获取二维视频中的每个Y‑T截面图像的最优垂直方向运动矩阵，同样对二维视频中的每个X‑T截面图像进行低秩矩阵分解，并获取二维视频中的每个X‑T截面图像的最优水平方向运动矩阵；然后根据二维视频中的每个Y‑T截面图像的最优垂直方向运动矩阵和每个X‑T截面图像的最优水平方向运动矩阵，获取二维视频中每个时刻的视频帧的运动显著图，将二维视频中的t时刻的视频帧{It(x,y)}的运动显著图记为{St,motion(x,y)}，其中，St,motion(x,y)表示{St,motion(x,y)}中坐标位置为(x,y)的像素点的像素值；③提取二维视频中每个时刻的视频帧中的每个像素点的特征矢量；然后对提取得到的所有像素点的特征矢量构成的矩阵进行低秩矩阵分解，并获取二维视频中每个时刻的视频帧中的所有像素点的特征矢量构成的矩阵的最优背景矩阵和最优运动矩阵；再根据二维视频中每个时刻的视频帧中的所有像素点的特征矢量构成的矩阵的最优运动矩阵，获得二维视频中每个时刻的视频帧的空间显著图，将二维视频中的t时刻的视频帧{It(x,y)}的空间显著图记为{St,spatial(x,y)}，其中，St,spatial(x,y)表示{St,spatial(x,y)}中坐标位置为(x,y)的像素点的像素值；④对二维视频中每个时刻的视频帧的运动显著图和空间显著图进行融合，得到二维视频中每个时刻的视频帧的视频显著图，将二维视频中t时刻的视频帧{It(x,y)}的视频显著图记为{Svideo(x,y)}，将{Svideo(x,y)}中坐标位置为(x,y)的像素点的像素值记为Svideo(x,y)，Svideo(x,y)=(St,motion(x,y))α×(St,spatial(x,y))1‑α，其中，α为权重系数。