[发明专利]一种基于视觉感知的立体视频编码方法

摘要

本发明公开了一种基于视觉感知的立体视频编码方法，其通过利用人类立体视觉感知对背景光照和对比度的双目视觉掩蔽效应、时域掩蔽效应和深度感知特性，得到人眼可感知立体图像质量变化时右视点图像的立体最小可察觉变化图像，然后在左视点图像质量固定不变的情况下，根据左视点图像的基本编码量化参数和右视点图像的立体最小可察觉变化值，对右视点图像的不同区域采用不同的编码量化参数进行编码，不仅能充分消除立体视频的视觉冗余信息，而且在保证立体图像质量的整体质量的前提下，能大大提高立体视频的编码效率。

主权项

1.一种基于视觉感知的立体视频编码方法，其特征在于包括以下步骤：①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的立体视频定义为原始立体视频，在空域上该原始立体视频包括左视点原始视频和右视点原始视频，左视点原始视频主要由若干个帧组的左视点图像组成，右视点原始视频主要由若干个帧组的右视点图像组成，对于左视点原始视频中t时刻的左视点图像，将其记为对于右视点原始视频中t时刻的右视点图像，将其记为其中，i＝1,2,3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x,y)表示图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示图像的宽度，H表示图像的高度，表示中坐标位置为(x,y)的像素点的第i个分量的值，表示中坐标位置为(x,y)的像素点的第i个分量的值；②采用块匹配法分别计算左视点原始视频中每一时刻的左视点图像和右视点原始视频中对应时刻的右视点图像之间的视差图像，对于和之间的视差图像，将其记为其中，表示中坐标位置为(x,y)的像素点的像素值；③利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应，分别提取出右视点原始视频中每一时刻的右视点图像的双目最小可察觉变化图像，对于的双目最小可察觉变化图像，将其记为其中，表示中坐标位置为(x,y)的像素点的像素值；④根据时域掩蔽效应，分别提取出右视点原始视频中每一时刻的右视点图像的时域掩蔽因子，对于的时域掩蔽因子，将其记为其中，表示中坐标位置为(x,y)的像素点的时域掩蔽因子，max()为取最大值函数，τ表示尺度因子，exp()为底数e=2.71828的指数运算操作，Δ(x,y,t)=0.5×(It,1R(x,y)-It-1,1R(x,y)-It,1R(x,y)‾+It-1,1R(x,y)‾),]]>表示中坐标位置为(x,y)的像素点的第1个分量的值，表示右视点原始视频中t-1时刻的右视点图像中坐标位置为(x,y)的像素点的第1个分量的值，表示中所有像素点的第1个分量的平均值，表示中所有像素点的第1个分量的平均值；⑤根据深度感知特性，分别提取出右视点原始视频中每一时刻的右视点图像的深度加权因子集合，对于的深度加权因子集合，将其记为ηtR(x,y)=ζγ×(1-exp(-|(βmax+δ)dtR(x,y)|)),]]>其中，表示中坐标位置为(x,y)的像素点的深度加权因子，ζ=43×βcenter+βmin,]]>γ=32×βcenter+βmin,]]>δ=12×βcenter+βmin,]]>表示和之间的视差图像中坐标位置为(x,y)的像素点的像素值，β_max表示中的最大视差值，β_min表示中的最小视差值，β_center表示中的所有像素点的平均视差值，符号“||”为取绝对值符号；⑥对右视点原始视频中每一时刻的右视点图像的双目最小可察觉变化图像、时域掩蔽因子及深度加权因子进行结合，对应获得右视点原始视频中每一时刻的右视点图像的立体最小可察觉变化图像，对于的双目最小可察觉变化图像的时域掩蔽因子及的深度加权因子进行结合后获得的的立体最小可察觉变化图像，将其记为StR(x,y)=ρtR(x,y)×ηtR(x,y)×JtR(x,y),]]>其中，表示中坐标位置为(x,y)的像素点的像素值；⑦采用设定的编码预测结构对左视点原始视频中每一时刻的左视点图像进行编码，采用设定的编码预测结构并根据右视点原始视频中每一时刻的右视点图像的立体最小可察觉变化图像对右视点原始视频中对应时刻的右视点图像进行编码，然后将编码得到的左视点码流和右视点码流经网络传输给解码端。