[发明专利]低时延视频压缩方法及装置

权利要求书

1.一种低时延视频压缩方法，其特征在于：包括以下步骤，

S10、对第一帧图像及第二帧图像进行边缘增强，所述第一帧图像为第二帧图像的上一帧，所述第一帧图像是压缩后的重建图像；

S20、以第一帧图像作为参考图像，计算第一帧图像与第二帧图像间的低分辨率光流；

步骤S20具体包括：

S21、对第一帧图像及第二帧图像进行降采样，得到第一帧图像及第二帧图像的低分辨率图像；

S22、通过估计模块对原始分辨率的图像和低分辨率图像进一步计算，得到多尺度光流；

S23、将多尺度光流和经边缘增强的第一帧图像及第二帧图像共同输入细化模块，得到低分辨率光流；

S30、根据低分辨率光流，计算出预测帧图像；

步骤S30具体包括，

S31、将低分辨率光流输入到运动编码器网络中压缩，得到压缩光流；

S32、将压缩光流进行量化后输入到运动解码器网络中重建，得到低分辨率的重建光流；

S33、将低分辨率的重建光流进行上采样，得到全分辨率的重建光流；

S34、利用全分辨率的重建光流对参考图像进行图像扭曲；

S35、将全分辨率的重建光流及经扭曲的参考图像输入运动补偿网络，获得预测帧图像；

S40、根据预测帧图像，计算出压缩图像；

步骤S40具体包括，

S41、将第二帧图像与预测帧图像相减，得到残差图像；

S42、将残差图像输入到残差编码器网络中压缩，得到压缩残差图像；

S43、将压缩残差图像进行量化后输入到残差解码器网络中重建，得到重建残差图像；

S44、以第一帧图像作为参考图像，将重建残差图像与参考图像相加，得到重建图像；

S45、将量化后的压缩光流和压缩残差图像进行熵编码得到码流，完成对第二帧图像的压缩；

S50、重复步骤S10到S40，直至整个视频压缩完成。

2.如权利要求1所述的低时延视频压缩方法，其特征在于：步骤S10具体包括，

S11、使用边缘检测算法提取第一帧图像及第二帧图像的图像边缘；

S12、分别对第一帧图像及第二帧图像的图像边缘的每个像素点进行计算，得到第一帧图像及第二帧图像的边缘增强系数；

S13、分别以第一帧图像及第二帧图像的每个像素点为中心，利用滑动窗口计算相应的低频成分，再分别结合边缘增强系数，得到边缘增强的第一帧图像及第二帧图像。

3.如权利要求2所述的低时延视频压缩方法，其特征在于：步骤S11具体包括，

S101、根据输入的第二帧图像，从帧图像缓冲区中提取出第二帧图像的上一帧图像，也即第一帧图像；

S102、使用边缘检测算法分别计算第一帧图像及第二帧图像的梯度值；

S103、根据梯度值进一步用预设定的阈值判断每个像素点是否属于边缘，得到第一帧图像及第二帧图像的图像边缘。

4.如权利要求3所述的低时延视频压缩方法，其特征在于：步骤S102-S103采用的算法公式为：

其中，i,j分别表示图像像素在x轴方向和y轴方向上的位置索引，E_t(i,j)表示从t时刻视频帧所提取的位于位置(i,j)上的图像边缘像素值，X_t(i,j)表示t时刻视频帧中位于位置(i,j)上的图像像素值，X_t(k,l)表示t时刻视频帧中位于位置(k,l)上的图像像素值，其中(k,l)是区分于(i,j)的另一位置索引,H×W为图像大小,n为卷积时滑动窗口的大小，取n＝3,G_x和G_y分别代表用于在水平方向和垂直方向上检测梯度的滤波器，(G_x*X_t)(i,j)和(G_y*X_t)(i,j)分别表示t时刻的视频帧X_t经过滤波器G_x和G_y滤波后位于位置(i,j)上的图像像素值，TS为设定的阈值，取TS＝100。