[发明专利]立体视频的缩放以及视频中的前景和背景的检测

说明书

技术领域

本公开内容涉及视频数据的处理，包括立体视频的缩放以及视频中的前景和背景的检测。

背景技术

近年来，用于生成三维视频(例如，电视，电影等)的三维(立体)成像已经变得越来越流行。其中一个原因是用于创建三维视频的相机和后期制作技术有了重大的改进。三维视频变得流行的另一个原因是观看娱乐的公众似乎愿意为这种特殊效果支付额外的费用。

然而，与使用二维(单视场)技术相比，三维拍摄技术使得使用三维技术来拍摄视频明显更昂贵。此外，存在数百万部已经制作好的但不是使用三维技术拍摄的二维视频。

因此，许多人一直试图将二维视频转换为三维视频。然而，用于将二维视频转换为三维观看的这些方法可能是没有效果的、是资源密集的和/或未能产生可接受的结果(例如，产生纸板局部剪裁效果)。

本发明要求保护的主题不限于解决任何缺点或仅在诸如上述环境中操作的实施方案。相反，此背景仅提供用于阐释可以实践本文所描述的一些实施方案的一个示例性的技术领域。

发明内容

根据实施方案的一个方面，一种方法可以包括确定单视场视频的第一帧和单视场视频的第二帧之间的移动。该方法还可以包括基于移动分析相机效果、基于移动和相机效果生成第一修改帧以及基于移动和相机效果生成第二修改帧。该方法还可以包括基于相机效果以及第一修改帧和第二修改帧中的至少一个生成立体视频的左眼观看帧。该方法还可以包括基于相机效果以及第一修改帧和第二修改帧中的至少一个生成立体视频的右眼观看帧。

根据实施方案的另一方面，一种分析视频的方法可以包括基于视频的第一帧和视频的第二帧确定视频内的最快移动要素、慢速移动要素和主导要素(dominant element)中的至少一个。该方法还可以包括基于最快移动要素、慢速移动要素和主导要素中的至少一个来确定视频内的前景和背景中的至少一个。

实施方案的目的和优点将至少通过权利要求中特别指出的要素、特征和组合来实现和完成。

应当理解，前面所述的一般性描述和以下的详细描述都是示例性和说明性的，并且不限制所要求保护的本发明。

附图说明

将通过使用附图以额外的特性和细节来描述和解释示例性的实施方案，附图中：

图1示出了用于基于单视场(2D)视频生成立体(3D)视频的示例性系统；

图2示出了描绘基于要素在单视场视频的不同帧之间的移动来生成与单视场视频相关联的修改帧的示例性框图；

图3示出了描绘生成与单视场视频相关联的修改帧的示例性框图，其中可以基于单视场视频的一个或多个推断帧来生成一个或多个修改帧；

图4示出了描绘基于与单视场视频相关联的右平移效果生成立体视频的左眼观看帧和右眼观看帧的示例性框图；

图5示出了描绘基于与单视场视频相关联的左平移效果生成立体视频的左眼观看帧和右眼观看帧的示例性框图；

图6示出了描绘基于与单视场视频相关联的缩小相机效果生成立体视频的左眼观看帧和右眼观看帧的示例性框图；

图7示出了描绘基于与单视场视频相关联的放大相机效果生成立体视频的左眼观看帧和右眼观看帧的示例性框图；

图8示出了单视场视频的示例性帧，其中该帧包括最快移动要素、慢速移动要素和主导要素；

图9是基于与场景相关联的最快移动要素、慢速移动要素和主导要素中的至少一个来确定场景的前景和/或背景的示例性方法的流程图；

图10示出了用于基于与单视场视频相关联的前景和/或背景的移动从单视场视频生成立体视频的左眼观看帧和右眼观看帧的示例性框图；

图11是基于相机效果将单视场视频转换为立体视频的示例性方法的流程图；

图12A示出了可以被左眼和右眼感知的示例性情景；

图12B描绘了示例性网格，其示出了可能存在于与图12A的情景相关联的立体视频的左眼观看帧和右眼观看帧内的要素之间的示例性偏移；

图12C描绘了示例性网格，其示出了在将统一的乘法因子应用于图12B的偏移之后，图12B的要素相对于其各自的左眼观看帧和右眼观看帧的偏移；

图12D描绘了示例性网格，其示出了在将统一的求和因子应用于图12B的偏移之后，图12B的要素相对于其各自的左眼观看帧和右眼观看帧的偏移；

图13是调整立体视频的深度的示例性方法的流程图；以及

图14是调整立体视频的焦点的示例性方法的流程图，所有这些都根据本文描述的至少一些实施方案来安排。