[发明专利]基于球面环切和仿射变换的全景视频帧矩形映射方法

说明书

本发明公开了一种基于球面环切和仿射变换的全景视频帧矩形映射方法，包括：对球面进行采样量化，并展开到二维平面，再对展开的二维图针对水平和竖直方向进行过采样的拉伸，其中水平方向的过采样率随纬度变化，使得最后图像拉伸为高宽比为2：1的菱形；对于球面数学模型，则利用预设方法将其变化成高宽比为2：1的菱形；再对菱形进行仿射变换。该方法可以使三维全景视频帧能够映射到一个面积较小和信息损失较小的二维矩形平面上，进而帮助优化全景视频压缩。

技术领域

本发明涉及全景视频编码技术领域，尤其涉及一种基于球面环切和仿射变换的全景视频帧矩形映射方法。

背景技术

全景视频是以采集设备为中心，利用多摄像机对各个视角的景物进行同时记录而得到的视频。人们在观看全景视频时，可以随意切换观看视角。与传统的二维平面视频相比，全景视频可以给用户带来更好的体验和沉浸感，是未来虚拟现实技术不可或缺的一部分。

然而，全景视频的原始数据量比传统二维平面视频大得多，迫切需要高效的视频压缩方法。全景视频帧的像素分布在一个球体的三维曲面上。为了编码，需要将其映射到二维平面上。因此全景视频的投影映射是全景视频编码中很重要的一个环节。

本质上，全景视频记录的是球面上的视频信息。由于球面不易表示，全景视频一般采用经纬图格式进行表达。经纬图将球面的点按照其经度、维度映射到二维平面，例如，经度映射为列坐标、纬度映射为行坐标，从而将球面展开为矩形平面。经纬图格式的视频可以直接采用传统的二维平面视频的编码器进行压缩编码。但是由于经纬图本身对于球面进行了下采样，经纬图与球面的面积比为1：1.5708。经纬图内包含大量冗余像素。另一种方式是通过正多面体的映射，比如正六面体。其中与球面面积最接近的是正二十面体，与球面的比值为1：1.21:。但二十面体本身不是方形，为方便编码需要拼剪成矩形。然而，裁剪的过程中将破坏图像本身的相关性，造成了图像信息的损失。

发明内容

本发明的目的是提供一种基于球面环切和仿射变换的全景视频帧矩形映射方法，从而使三维全景视频帧能够映射到一个面积较小和信息损失较小的二维矩形平面上，进而帮助优化全景视频压缩。

本发明的目的是通过以下技术方案实现的：

一种基于球面环切和仿射变换的全景视频帧矩形映射方法，包括：

对球面进行采样量化，并展开到二维平面，再对展开的二维图针对水平和竖直方向进行过采样的拉伸，其中水平方向的过采样率随纬度变化，使得最后图像拉伸为高宽比为2：1的菱形；对于球面数学模型，则利用预设方法将其变化成高宽比为2：1的菱形；

再对菱形进行仿射变换。

由上述本发明提供的技术方案可以看出，该方案主要具有如下优点：进行映射后，映射图与球面的面积比为1：1.15，较传统的方法更小；相邻像素相关性的损失比较小；映射后为长宽比2：1矩形，使其易于以传统的编码输入格式进行编码和存储。此外，本方案中，图形内部相邻像素点之间都是统计相关的，不像20面体在变为矩形时会有明显的分界面，同时也不像正弦映射那样造成互相垂直的经纬线过度变形。因此，本方案理论上优于传统的经纬图映射、正六面体以及菱形等传统映射方法。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于球面环切和仿射变换的全景视频帧矩形映射方法的流程图；

图2为本发明实施例提供的全景视频球面示意图；

图3为本发明实施例提供的对三维球面进行采样到二维平面展开的示意图；