[发明专利]多视点视频中丢失的视频数据的恢复方法、系统及设备

说明书

技术领域

本发明涉及多视点视频领域，尤其涉及一种多视点视频中丢失的视频数据的恢复方法、系统及设备。

背景技术

多视点视频是视频业务的一项重要内容，其特点是用户可以自由地选择观看的视角，从而可以观看被拍摄物体(场景)的不同侧面。如图1所示，多视点视频的实现方法是在拍摄时通过多个角度对同一物体(场景)进行拍摄，按照顺时针方向视角编号依次为1、2、3...16；在编码时对每一个视角的视频流分别进行编码，得到多视点视频编码码流(包括每一个视角的视频编码码流)；在播放时需要根据用户需求对相应视角的视频编码码流进行解码和显示。

如图2所示，为具有五个视角的多视点视频编码码流的帧结构示意图，其中横坐标表示时间(t)，纵坐标表示视角编号。各帧图像定义为I帧、P帧和B帧三种类型，其中I帧为帧内编码图像，是只使用本帧内的数据进行编码的图像；P帧为前向预测编码图像，是根据前面最近的I帧或P帧作为参考帧进行前向预测编码的图像；B帧为双向预测编码图像，是根据前面和后面的I帧或P帧进行双向预测编码的图像。

多视点视频编码码流在进行网络传输时会出现丢失视频数据的情况。由于多视点视频编码码流以视频帧为单位，所以某一视频帧的部分视频数据丢失很可能导致该视频帧无法解码；并且由于视频帧的解码有依赖关系，如果某个视角的视频编码码流中I帧或P帧丢失(全部视频数据或部分视频数据丢数)，将导致该视角的视频编码码流中后续视频帧无法解码。

现有技术中针对多视点视频编码码流中视频数据丢失的情况，提供了对视频数据进行处理的方案，如果视频编码码流中存在视频数据的丢失，则对丢失的视频数据进行预测估计和补偿，需要从丢失了视频数据的视频帧(本申请文件中称为丢失帧)的前向视频帧中提取视频数据宏块整体复制到该丢失帧中，得到重建帧，从而恢复出丢失的视频数据。该方案导致重建帧有较明显的分块效应，重建帧的视频质量较差。

发明内容

本发明提供一种多视点视频中丢失的视频数据的恢复方法、系统及设备，用以消除重建帧具有的分块效应，提升重建帧的视频质量。

本发明提供一种多视点视频中丢失的视频数据的恢复方法，包括：

接收视频发送端发送的多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；

检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；并

从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。

本发明提供一种多视点视频中丢失的视频数据的恢复系统，包括：

视频发送端，用于发送多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；

视频接收端，用于接收视频发送端发送的所述多视点视频编码码流，检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；并从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。

本发明提供一种视频接收端的解码设备，包括：

接收单元，用于接收视频发送端发送的多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；

恢复单元，用于检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；

选取单元，用于从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。

本发明提供的多视点视频中丢失的视频数据的恢复方法、系统及设备，视频接收端检测出当前正在播放视角的视频编码码流中存在丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧，并选取一个作为重建帧。本方案利用接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧，恢复出若干个备选重建帧，充分利用了空间上不同视角的视频冗余信息，有效解决了多视点视频中视频数据丢失的错误隐藏问题，提升了丢失帧的重建帧的视频质量；该方案实现简单，并可普遍适用于丢失了全部视频数据或者部分视频数据的丢失帧的视频数据恢复。

附图说明

图1为现有技术中多视点视频的实现方法示意图；

图2为现有技术中多视点视频编码码流的帧结构示意图；