[发明专利]多视点视频中丢失的视频数据的恢复方法、系统及设备

权利要求书

1.一种多视点视频中丢失的视频数据的恢复方法，其特征在于，包括：

接收视频发送端发送的多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；

检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；并

从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。

2.如权利要求1所述的方法，其特征在于，所述根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧，具体包括：

从其它视角中选取第一视角和第二视角，其中每一次选取出的第一视角和第二视角的组合各不相同；

分别根据各次选取出的第一视角和第二视角的视频编码码流中与丢失帧处于相同时间位置上的两个视频帧、以及所述第一视角、第二视角和当前正在播放视角的摄像机参数，恢复出若干备选重建帧。

3.如权利要求2所述的方法，其特征在于，

所述第一视角从顺时针方向上与当前正在播放视角之间的夹角不大于设定的角度阈值的各视角中选取，所述第二视角从逆时针方向上与当前正在播放视角之间的夹角不大于所述角度阈值的各视角中选取，所述角度阈值小于180度。

4.如权利要求2或3所述的方法，其特征在于，所述从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧，具体包括：

如果恢复出一个备选重建帧，选取该备选重建帧作为丢失帧的重建帧；

如果恢复出两个备选重建帧，选取备选重建帧对应的第一视角和第二视角之间的夹角较小的备选重建帧作为丢失帧的重建帧；

如果恢复出三个或以上备选重建帧，分别计算每一个备选重建帧与其它备选重建帧之间的差值之和，选取差值之和的最小值对应的备选重建帧作为丢失帧的重建帧。

5.如权利要求4所述的方法，其特征在于，如果差值之和的最小值对应的备选重建帧有至少两个，选取差值之和的最小值对应的任一备选重建帧作为丢失帧的重建帧；或者，从差值之和的最小值对应的各备选重建帧中，选取备选重建帧对应的第一视角和第二视角之间的夹角最小的备选重建帧作为丢失帧的重建帧。

6.如权利要求4所述的方法，其特征在于，备选重建帧与其它备选重建帧之间的差值之和的计算方法，具体包括：

分别计算备选重建帧与每一个其它备选重建帧之间的绝对差值，备选重建帧与任一其它备选重建帧之间的绝对差值为备选重建帧与该其它备选重建帧中各对应像素点的亮度值之间的差值绝对值之和；

将得到的各绝对差值求和，得到备选重建帧与其它备选重建帧之间的差值之和。

7.如权利要求1所述的方法，其特征在于，还包括：

所述视频发送端在发送所述多视点视频编码码流之前，根据每一个视角的视频流标定每一个视角的摄像机参数。

8.一种多视点视频中丢失的视频数据的恢复系统，其特征在于，包括：

视频发送端，用于发送多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；

视频接收端，用于接收视频发送端发送的所述多视点视频编码码流，检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；并从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。

9.如权利要求8所述的系统，其特征在于，

所述视频接收端，进一步用于从其它视角中选取第一视角和第二视角，其中每一次选取出的第一视角和第二视角的组合各不相同；分别根据各次选取出的第一视角和第二视角的视频编码码流中与丢失帧处于相同时间位置上的两个视频帧、以及所述第一视角、第二视角和当前正在播放视角的摄像机参数，恢复出若干备选重建帧。