[发明专利]一种处理信号的方法及系统

说明书

技术领域

本发明涉及视频处理。更具体地，本发明涉及从单像(monoscopic)2D视频和相应深度信息创建3D视频的方法及系统。

背景技术

数字视频功能可纳入很多设备中，例如，数字电视、数字直播系统、数字录音设备及类似设备。较之于常规的模拟视频系统，在处理和传输视频序列方面数字视频设备可提供带宽效率增加的显著改进。

可以二维(2D)格式或三维(3D)格式记录视频内容。在各种应用中，例如，DVD电影和数字电视，由于其对观众而言比2D副本更真实，3D视频通常是有吸引力的。3D视频包括左视图视频和右视图视频。3D视频帧可由分别组合左视图视频分量和右视图视频分量的方式产生。

比较本发明后续将要结合附图介绍的系统，现有技术的其它局限性和弊端对于本领域的技术人员来说是显而易见的。

发明内容

本发明提供一种从单像2D视频和相应深度信息创建3D视频的系统和/或方法，并结合至少一幅附图进行展示和/或描述，且在权利要求中更加完整地阐明。

根据本发明的一个方面，提供一种处理信号的方法，所述方法包括：

通过单像视频传感设备的一个或多个图像传感器捕获二维视频；

通过所述单像视频传感设备的深度传感器捕获所述捕获的二维视频的相应深度信息；

基于所述捕获的相应深度信息选择所述捕获的二维视频的一个或多个感兴趣区域(regions of interest)；

基于所述选择的一个或多个感兴趣区域选择性地处理所述捕获的二维视频和所述捕获的相应深度信息；及

从所述处理的二维视频和所述处理的相应深度信息合成(compose)三维视频。

优选地，所述方法还包括使所述捕获的相应深度信息与所述捕获的二维视频同步。

优选地，所述方法还包括将所述同步的深度信息存储为所述捕获的二维视频的元数据。

优选地，所述方法还包括使所述存储的深度信息的分辨率与所述捕获的二维视频的视频分辨率相匹配。

优选地，所述方法还包括在各像素间和/或各视频帧间插补所述存储的深度信息以匹配所述捕获的二维视频的所述视频分辨率。

优选地，所述方法还包括分别将所述捕获的二维视频和所述存储的深度信息可伸缩视频编码为基础层视频和增强层视频。

优选地，所述方法还包括在所述可伸缩视频编码期间，基于所述选择的一个或多个感兴趣区域选择性地压缩所述捕获的二维视频和所述存储的深度信息。

优选地，所述方法还包括，解压缩所述压缩的二维视频和所述压缩的深度信息；及基于所述选择的一个或多个感兴趣区域，确定所述解压缩的二维视频的视频分量的相关性。

优选地，所述方法还包括基于所述确定的相关性，从所述解压缩的二维视频和所述解压缩的深度信息合成所述三维视频。

优选地，所述方法还包括渲染所述合成的三维视频。

根据本发明的一个方面，提供一种处理信号的系统，所述系统包括：

应用于单像视频传感设备的一个或多个处理器和/或电路，所述一个或多个处理器和/或电路包括一个或多个图像传感器和深度传感器，其中所述一个或多个处理器和/或电路用于：

通过所述一个或多个图像传感器捕获二维视频；

通过所述深度传感器捕获所述捕获的二维视频的相应深度信息；

基于所述捕获的相应深度信息选择所述捕获的二维视频的一个或多个感兴趣区域；

基于所述选择的一个或多个感兴趣区域选择性地处理所述捕获的二维视频和所述捕获的相应深度信息；及

从所述处理的二维视频和所述处理的相应深度信息合成三维视频。

优选地，所述一个或多个电路用于使所述捕获的相应深度信息与所述捕获的二维视频同步。

优选地，所述一个或多个电路用于将所述同步的深度信息存储为所述捕获的二维视频的元数据。

优选地，所述一个或多个电路用于使所述存储的深度信息的分辨率与所述捕获的二维视频的视频分辨率相匹配。

优选地，所述一个或多个电路用于在各像素间和/或各视频帧间插补所述存储的深度信息以匹配所述捕获的二维视频的所述视频分辨率。

优选地，所述一个或多个电路用于分别使所述捕获的二维视频和所述存储的深度信息可伸缩视频编码为基础层视频和增强层视频。

优选地，所述一个或多个电路用于在所述可伸缩视频编码期间，基于所述选择的一个或多个感兴趣区域选择性地压缩所述捕获的二维视频和所述存储的深度信息。