[发明专利]一种全景视频编码方法和装置

说明书

本申请公开了一种全景视频编码方法和装置。该方法将当前预测单元中的某个参考点在当前帧的当前预测单元、当前帧的最相邻预测单元、参考帧的当前预测单元以及参考帧的最相邻预测单元的平面坐标转换为球面坐标，从而根据参考点的球面坐标确定当前预测单元在三维空间内的三维运动矢量。进而，根据该三维运动矢量确定当前帧中当前预测单元的所有目标点在参考帧的对应目标参考点，并根据该目标参考点的像素对目标点像素进行补偿。与现有技术相比，本发明采用球面坐标系转换运动模型进行像素补偿，消除了视频中畸变带来的影响，从而提高视频编码效率。

技术领域

本申请涉及视频编码领域，更具体地说，涉及一种全景视频编码方法和装置。

背景技术

近年来虚拟现实(VR)在研究和应用领域成为了热点。而VR应用的一大核心便是全景视频，全景视频在实际播放的时候是在VR头显设备上，其空间结构是一个三维的球面，但在实际存储在计算机上时必须要映射到平面上，其中最广泛采用的是经纬图映射方式，这种方式把球面映射成一个长宽2:1的矩形，但是会造成严重的图像形状畸变，这会给编码时的运动估计带来麻烦。

传统的通用视频编码标准如H.264(Advanced Video Coding)和HEVC(HighEfficiency Video Coding)都采用平动运动模型(translational motionmodel)，这种运动模型只能刻画物体的平移，却无法刻画旋转，缩放和其他的一些复杂的运动。而全景视频映射到平面由于存在畸变，这导致平动运动模型存在编码效率低的问题。

发明内容

有鉴于此，本申请提供一种全景视频编码方法和装置，基于球面坐标系对全景视频进行运动估计和补偿，以消除视频中畸变带来的影响，从而提高视频编码效率。

为了实现上述目的，现提出的方案如下：

一种全景视频编码方法，包括：

确定当前预测单元的最相邻预测单元；

获取参考点的第一平面坐标、第二平面坐标、第三平面坐标以及第四平面坐标；

其中，所述第一平面坐标为所述参考点在当前帧的当前预测单元中的坐标、所述第二平面坐标为所述参考点在当前帧的最相邻预测单元中的坐标，所述第三平面坐标为所述参考点在参考帧的当前预测单元中的坐标，所述第四平面坐标为所述参考点在参考帧的最相邻预测单元中的坐标；

分别将所述第一平面坐标、所述第二平面坐标、所述第三平面坐标以及所述第四平面坐标转换为球面坐标，并根据所述球面坐标计算所述当前预测单元在三维空间内的三维运动矢量；

对于当前帧的当前预测单元中所有目标点，根据所述三维运动矢量确定所述目标点在参考帧内对应的目标参考点；

利用所述目标参考点的像素对所述目标点像素进行补偿，以实现对所述当前预测单元的球坐标变换运动模型补偿；

对所述当前预测单元进行编码。

优选的，所述确定当前预测单元的最相邻预测单元，包括：

获取所述当前预测单元的二维运动矢量，以及多个相邻预测单元的二维运动矢量；

比较所述当前预测单元的二维运动矢量和相邻预测单元的二维运动矢量；

将与所述当前预测单元二维运动矢量最近的相邻预测单元作为所述当前预测单元的最相邻预测单元。

优选的，所述获取参考点的第一平面坐标、第二平面坐标、第三平面坐标以及第四平面坐标，包括：

获取所述参考点的所述第一平面坐标和所述第二平面坐标；

计算所述当前预测单元与所述最相邻预测单元的二维运动矢量差值；