[发明专利]基于运动注意力模型的360度全景视频编码方法

说明书

本发明涉及基于运动注意力模型的360度全景视频编码方法,包括：提取运动矢量得到运动矢量场，计算每个运动矢量的可靠度；根据可靠度进行可靠度的加权滤波预处理，以降低噪声；将运动矢量场进行全局运动补偿；构建运动注意力模型，得到编码块的运动注意力；根据得到编码块的运动注意力，自适应分配码字。本发明有益效果：运动注意力的计算是在运动矢量场的基础上进行,不需要额外的计算复杂度,减少噪声的影响,综合考虑了运动矢量强度、空域运动矢量对比度和时域运动矢量对比度构建运动注意力模型,对运动关注区域的分配较多码字，对不变化的视频区域分配较少码字，以此来提高运动关注场景的视频质量同时减少无用区域的编码码字。

技术领域

本发明涉及360度全景视频编码技术领域，具体地说是一种基于运动注意力模型的360度全景视频编码方法。

背景技术

传统直播方式能够给观众带来实时的赛事享受，加入360度全景直播技术以后，除了能够营造出更具有现场感的观赛氛围，还突破了空间座位的限制，大大拓宽了收视群体。360度全景直播技术的发展不仅仅能够用于如演唱会、体育赛事等事件型直播，还能应用于医疗领域、房地产现场看房销售等。一般情况下，都为户外直播。在这种环境下，本身采集端网络极不稳定，影响用户观看360度全景直播时的质量。即使是室内直播，网络传输中所面临的卡顿，也是360度全景直播必须克服的问题。

随着用户对虚拟现实的真实性要求越来越高，目前普通的视频编码方案已无法满足在保证相同主观质量下减少360度全景视频的压缩码率。由于网络带宽条件有限，只能使用较低码流传输视频，但又希望看清关键目标时，视频感兴趣区域编码技术可以牺牲非感兴趣区域图像质量，对感兴趣区域进行集中资源编码，从而实现在不提高码流的条件下，获得关键目标信息，这样可以有效的避免了存储和带宽成本的增加。视频感兴趣区域变质量传输特性在监控领域非常实用，360度全景摄像机所采集到的画面都或多或少存在无用区域，同样占用传输带宽和存储，因此，只对关注区域的视频信息高质量传输，对不变化的视频少传或不传，以此来提高关注场景的视频质量及减少无用区域的编码码字。

发明内容

本发明的目的在于提供一种基于运动注意力模型的360度全景视频编码方法，可以复用编码中的运动矢量信息进行运动注意力区域的提出，并在编码时对运动关注区域的分配较多码字，对不变化的视频区域分配较少码字，从而实现在保证相同主观质量下有效的节省360度全景视频传输的带宽。

本发明采用的技术方案包括如下步骤：

步骤1：提取运动矢量得到运动矢量场，计算每个运动矢量的可靠度；

步骤2：根据可靠度进行可靠度的加权滤波预处理，以降低噪声；

步骤3：将步骤2修正后的运动矢量场进行全局运动补偿；

步骤4：构建运动注意力模型，得到编码块的运动注意力；

步骤5：根据步骤5得到编码块的运动注意力，自适应分配码字。

进一步地，在步骤1中，运动矢量可靠度定义如下：

其中v是当前块的运动矢量，MAD是当前块与匹配块的平均绝对差，μ_v是当前块8邻域块的平均运动矢量。

进一步地，在步骤2中进行可靠度加权滤波：若g(v)大于0.1，表示当前块运动矢量可靠，则不用做任何处理；若g(v)小于0.1，表示当前块运动矢量不可靠，则对不可靠运动矢量做可靠度加权向量中值滤波，使其周围可靠的运动矢量代替当前不可靠运动矢量。

进一步地，在步骤3中：将步骤3修正后的运动矢量场进行全局运动补偿，即统计当前帧中所有SKIP模式的运动矢量的均值，并对当前帧所有运动矢量减去该均值，得到全局运动补偿后运动矢量场。