[发明专利]一种视频显著图提取方法

摘要

本发明公开了一种视频显著图提取方法，其首先根据解码得到的解码视频中的每帧解码帧中的每个子块的运动矢量和每个子块中的每个像素点的DCT系数，分别获得解码视频中的每帧解码帧的运动显著图和纹理显著图；然后根据解码视频中的每帧解码帧的纹理显著图，获取每帧解码帧的纹理不确定性图，并根据解码视频中的每帧解码帧的运动显著图，获取每帧解码帧的运动不确定性图；再根据解码视频中的每帧解码帧的纹理不确定性图和运动不确定性图，对解码视频中的每帧解码帧的纹理显著图和运动显著图进行融合，得到解码视频中的每帧解码帧的视频显著图；优点是所获得的视频显著图能够较好地反映视频的静态和动态区域的显著变化情况，符合压缩域显著语义的特征。

主权项

一种视频显著图提取方法，其特征在于包括以下步骤：①假定待处理的原始二维视频中包含的视频帧的总帧数为T，且假定待处理的原始二维视频中的视频帧的宽和高对应为W和H；采用H.264视频编码标准对原始二维视频进行编码，得到原始二维视频的编码码流；然后服务端通过网络将原始二维视频的编码码流传输给用户端；②用户端对服务端发送来的原始二维视频的编码码流进行解码，得到原始二维视频对应的解码视频以及解码视频中的每帧解码帧中的每个尺寸大小为8×8的子块的运动矢量、解码视频中的每帧解码帧中的每个尺寸大小为8×8的子块中的每个像素点的DCT系数，将原始二维视频对应的解码视频中的第t帧解码帧记为将中的第h个子块的运动矢量记为MV_h,t，将中的第h个子块中坐标位置为(x₁,y₁)的像素点的DCT系数记为DCT_h,t(x₁,y₁)，其中，1≤t≤T，1≤x≤W，1≤y≤H，表示中坐标位置为(x,y)的像素点的像素值，1≤x₁≤8,1≤y₁≤8；③根据原始二维视频对应的解码视频中的每帧解码帧中的每个子块中的所有像素点的DCT系数，获取原始二维视频对应的解码视频中的每帧解码帧中的不同子块之间的纹理相似性；然后根据原始二维视频对应的解码视频中的每帧解码帧中的不同子块之间的纹理相似性，获取原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理对比度和纹理复杂度；再根据原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理对比度和纹理复杂度，获取原始二维视频对应的解码视频中的每帧解码帧中的每个子块的纹理显著值，进而得到原始二维视频对应的解码视频中的每帧解码帧的纹理显著图，将的纹理显著图记为{S_t,texture(x,y)}，其中，S_t,texture(x,y)表示{S_t,texture(x,y)}中坐标位置为(x,y)的像素点的像素值；④根据原始二维视频对应的解码视频中的每帧解码帧中的每个子块的运动矢量，获取原始二维视频对应的解码视频中的每帧解码帧的运动矢量图；然后通过计算原始二维视频对应的解码视频中的每帧解码帧的全局运动参数向量，获取原始二维视频对应的解码视频中的每帧解码帧的全局运动矢量图；再根据原始二维视频对应的解码视频中的每帧解码帧的运动矢量图和全局运动矢量图，获取原始二维视频对应的解码视频中的每帧解码帧的前景运动矢量图；最后根据原始二维视频对应的解码视频中的每帧解码帧的前景运动矢量图，获取原始二维视频对应的解码视频中的每帧解码帧的运动显著图，将的运动显著图记为{S_t,motion(x,y)}，其中，S_t,motion(x,y)表示{S_t,motion(x,y)}中坐标位置为(x,y)的像素点的像素值；⑤根据原始二维视频对应的解码视频中的每帧解码帧的纹理显著图，获取原始二维视频对应的解码视频中的每帧解码帧的纹理不确定性图；并根据原始二维视频对应的解码视频中的每帧解码帧的运动显著图，获取原始二维视频对应的解码视频中的每帧解码帧的运动不确定性图；然后根据原始二维视频对应的解码视频中的每帧解码帧的纹理不确定性图和运动不确定性图，对原始二维视频对应的解码视频中的每帧解码帧的纹理显著图和运动显著图进行融合，得到原始二维视频对应的解码视频中的每帧解码帧的视频显著图，将的视频显著图记为{S_t,video(x,y)}，将{S_t,video(x,y)}中坐标位置为(x,y)的像素点的像素值记为S_t,video(x,y)，$S_{t,\mathrm{video}}(x,y)=\frac{S_{t,\mathrm{texture}}(x,y)\×U_t(x,y)+S_{t,\mathrm{motion}}(x,y)\×V_t(x,y)}{U_t(x,y)+V_t(x,y)},$其中，U_t(x,y)表示的纹理不确定性图{U_t(x,y)}中坐标位置为(x,y)的像素点的像素值，V_t(x,y)表示的运动不确定性图{V_t(x,y)}中坐标位置为(x,y)的像素点的像素值。