[发明专利]用单视场低功率移动装置实时捕获及产生立体图像及视频

说明书

技术领域

本发明大体来说涉及单视场低功率移动装置，例如手持式相机、摄录一体机、单传感器相机电话或其它能够创建实时立体图像及视频的单相机传感器装置。本发明还涉及一种用于产生实时立体图像的方法、一种静止图像捕获装置及一种视频图像捕获装置。

背景技术

近年来，增强感知真实性已成为推动下一代多媒体的革命发展的主要动力之一。快速增长的多媒体通信及娱乐市场需要覆盖立体图像捕获、处理、压缩、传递及显示的3D立体图像及视频技术。已启动致力于未来标准(例如，3DTV及MPEG 3DAV)的一些努力，以满足所述需求。

立体图像与单图像之间的主要差别是前者提供第三维的感觉及到景象中的对象的距离。由于左眼及右眼以不同的角度观点看到双目视图，因此人类视觉生来是立体的。人类大脑能够通过立体深度合成图像。一般来说，产生立体图像或视频需要具有两个传感器的立体相机。然而，所部署的大多数当前多媒体装置实施于单视场基础结构内。

在过去十年，已积极地研究了立体图像的产生。在一种研究中，分析视频序列且从2D几何形状及运动活动估计3D景物结构(其也称作运动估计结构(SfM))。此类方法使所记录的2D视频剪辑能够转换为3D。然而，计算复杂性相当高，使得实时立体图像产生并不可行。另一方面，由于SfM是数学上的劣病态问题，因此结果可能包含伪影并导致视觉不适。根据特定应用，一些其它方法首先基于一组启发式规则从单视图静止图像估计深度信息，且然后据此产生立体视图。

在另一种研究中，提出一种用于从单视场提示(例如，对象的视网膜大小)抽取相关深度信息，所述信息可用于产生辅助深度图。在再一种研究中，提出基于面部特征的参数深度图产生方案，以将2D头及肩图像转换为3D。在所提出的另一种用于深度图产生的方法中，所述方法中的一些步骤(例如，预处理中的图像分类)不平凡且实施起来可能非常复杂，此破坏所提出算法的实用性。在另一种方法中，提出一种使用运动检测及区域分割的实时2D到3D图像转换算法。然而，由于对象分割及对象深度估计的不精确性，伪影不可避免。显然，上文所提及的所有方法仅考虑所捕获的单视场图像。一些其它方法使用辅助源来帮助产生立体视图。举例来说，使用低成本辅助单色或低分辨率相机来捕获额外视图，且然后使用视差估计模型来产生像素的深度图。

在另一实例中，使用单视场高分辨率彩色相机来捕获景象的亮度及色度，且使用低分辨率单色“悬臂支架”相机的廉价侧翼3D-立体图像对来通过深度增大亮度及色度。从所获得的3个视图产生的视差图用于合成立体图像对。在再一实例中，使用混合组的自动及手动技术来抽取深度图(有时自动方法不可靠)且然后使用简单的平滑滤波器来降低所得图像的视觉伪影。

可易于看出，需要一种通过使用单视场移动相机电话或其它低功率单视场装置来获得实时立体图像及视频的低复杂性方法。

需要一种以不仅避免其它方法中所使用的辅助装备或人类互动而且还避免通过使用SfM或深度分析所引入的计算复杂性的方式估计深度图信息的单视场低功率移动装置。

进一步需要一种采用低复杂性方法来检测并估计用于立体视频的实时捕获及产生的深度信息的单视场低功率移动装置。

发明内容

鉴于上文，本发明的目标是提供一种采用低复杂性方法来检测并估计用于立体视频的实时捕获及产生的深度信息的单视场低功率移动装置。

本发明的另一目标是提供一种不仅避免辅助装备或人类互动而且还避免通过使用SfM或深度分析所引入的计算复杂性的单视场低功率移动装置。

本发明的再一目标是提供一种采用低复杂性立体图像对产生过程的单视场低功率移动装置。

本发明的又一目标是提供一种捕获及产生具有优异的3D效果的立体图像及视频的单视场低功率移动装置。

本发明的再一目标是提供可用于立体图像及视频两者的捕获及产生的单视场低功率移动装置。

通过包含以下模块的单视场低功率移动装置实施以上目标：单传感器相机传感器模块，其可操作以捕获图像且具有自动聚焦子模块，所述自动聚焦子模块可操作以经由聚焦过程通过将镜头移动通过整个聚焦范围来确定最佳焦点位置并在捕获所述图像时选择具有最大焦点值的焦点位置。所述装置包括深度图产生器组合件，其可操作以在第一阶段中使用来自所述自动聚焦子模块的统计数据自动形成块级深度图且在第二阶段中形成图像深度图。所述装置还包括图像对产生器模块，其可操作以从所捕获的图像中创建遗漏的第二视图以创建3D立体左及右视图。