[发明专利]多视点视频的视角切换以及编码方法和装置

说明书

技术领域

本发明涉及多视点视频技术领域，尤其涉及一种多视点视频的视角切换以及编码方法和装置。

背景技术

多视点视频是视频业务的一项重要内容，其特点是用户可以自由地选择观看的视角，从而可以观看被拍摄物体(场景)的不同侧面。如图1所示，多视点视频的实现方法是在拍摄时通过多个角度对同一物体(场景)进行拍摄，按照顺时针方向视角编号依次为1、2、3...16；在编码时对每一个视角的视频流分别进行编码，得到多视点视频编码码流(包括每一个视角的视频编码码流)；在播放时需要根据用户的需求对相应视角的视频编码码流进行解码和显示。

多视点视频的视角切换是指播放时在任意两个视角之间进行切换。如图2所示，为具有四个视角的多视点视频编码码流的帧结构示意图，其中横坐标表示时间(t)，纵坐标表示视角编号。各帧图像定义为I帧、P帧和B帧三种类型，其中I帧为帧内编码图像，是指使用本帧内的数据进行编码的图像；P帧为前向预测编码图像，是根据前面最近的I帧或P帧作为参考帧进行前向预测编码的图像；B帧为双向预测编码图像，是根据前面和后面的I帧或P帧进行双向预测编码的图像。

现有技术中，多视点视频的视角切换可以采用以下两种实现方案：

实现方案一、假设针对图2所示的多视点视频，在播放B[1][10]时用户发起从视角1到视角4的视角切换，在播放完B[1][10]后，依次播放I[2][11]、I[3][11]、I[4][11]、B[4][12]，即可实现从视角1到视角4的视角切换。该方案必需在原来播放一帧的时间内完成三帧的播放，切换画面过快，视觉效果不好；并且在一帧时间内，解码器需要解码三帧，显示器需要显示三帧，对于解码器和显示器的要求很高，当切换视角较大时(例如从视角1切换到视角9)，解码器和显示器将难以承受。由于视频帧的解码有依赖关系，B帧和P帧的解码需要依赖最近的I帧，如果各视角的I帧不同步，每切换一个视角，就需要等待一个I帧的到达，当切换角度较大时(如从视角1到视角9)，切换时间会比较长。同时，如果切换角度过大，会引起I帧密集，从而增大对带宽的需求。

实现方案二：将多个视角进行视角组的划分，例如视角1到视角4可视为一个视角组。视角组内各视角对应视频流的编码，以中心视角的I帧作为关键帧，其他视角的视频帧直接或间接依赖于该关键帧进行预测编码。如图3所示，P[3][1]、P[1][1]依赖于I[2][1]进行预测编码，P[4][1]依赖于P[3][1]进行预测编码，使得各视角之间存在依赖关系，不能独立解码。该方案仅支持同一视角组内的视角切换，不支持不同视角组之间的视角切换。针对同一视角组内的视角切换，例如从视角1切换到视角4时，需要将I[2][1]、P[1][1]、P[3][1]、P[4][1]全部解码，在原来解码一帧的时间内完成四帧的解码，切换画面过快，视觉效果不好，并且随着切换角度的增大，解码帧数随之增加，系统负荷将快速增加。

综上，现有技术中提供的多视点视频的视角切换方案，当切换角度比较小(切换点相邻)时切换画面的连续性较佳，例如从视角1切换到视角2；当切换角度比较大时切换画面的连续性较差，系统负荷较大，例如从视角1切换到视角9，并且随着切换角度的增大切换画面的连续性进一步变差，系统负荷快速增加。

发明内容

本发明提供一种多视点视频的视角切换方法和装置，用以解决现有技术中当切换角度比较大时切换画面的连续性较差，系统负荷较大的问题。

本发明提供一种多视点视频的编码方法和装置，用以形成易于视角平滑切换的多视点视频编码码流的帧结构。

本发明提供的一种多视点视频的视角切换方法，每一个视角的视频编码码流中包含与特定视频帧并行传输的视角切换帧，所述视角切换帧与本视角的下一相邻视角的视频编码码流中与该视角切换帧处于相同时间位置上的视频帧具有相同图像，在多视点视频的播放过程中根据用户发起的从当前视角到目标视角的视角切换，从当前视角依次经由各中间视角最终切换到目标视角，其中任意两个相邻第一视角和第二视角之间的视角切换，包括：

在第一视角的视频编码码流的视角切换帧到达时，控制播放第一视角的视频编码码流的视角切换帧，并从第一视角切换到与本视角的视角切换帧具有相同图像的视频帧所在的第二视角。

本发明提供的多视点视频的视角切换装置，包括触发单元和切换单元，其中：