[发明专利]基于深度传感器获得镜面对象的几何形状的方法和设备

说明书

本申请要求于2012年5月10日提交到美国专利商标局的第61/645,228号临时申请以及于2012年10月31日提交到韩国知识产权局的第10-2012-0122345号韩国专利申请的优先权利益，其每个的全部公开通过引用包含于此。

技术领域

下面的公开的示例实施例涉及一种用于针对各种应用（例如，三维（3D）成像、用于3D显示器的内容的创建、3D广播内容的创建、动画效果、3D游戏和虚拟或增强现实）基于深度传感器来获得镜面(specular)对象的几何形状(geometry)的方法和设备。

背景技术

各种传感器的发展已经使得三维（3D）成像技术在3D成像行业中发挥了重要的作用。随着最近的新深度感测方法和架构的引进，3D成像技术正在基于深度传感器被用于各种应用。

作为当前这些趋势的结果，3D飞行时间（ToF）传感器和结构光3D传感器正在获得市场的关注。这些传感器具有不同特点以及不同优点和缺点，因此基于将被使用的应用选择性地被使用。

发明内容

前述和/或其他方面通过提供一种获得镜面图像的几何形状的方法来实现，所述方法包括：接收深度图像的输入；基于与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值；修正丢失的深度值。

局部区域可被定义为呈现丢失的深度值的点是中心的区域。

深度图像可与具有饱和水平的输出值的深度图像相应。

基于与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值的步骤可包括：针对丢失的深度值估计丢失的深度值，以保证与局部区域的平均值的相似性。

基于与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值的步骤可包括：针对丢失的深度值估计丢失的深度值，以保证关于邻近像素的连续性。

基于与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值的步骤可包括：针对丢失的深度值估计丢失的深度值，以保证深度图像中的图案的周期性。

基于与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值的步骤可包括：针对丢失的深度值估计丢失的深度值，以保证与局部区域的平均值的相似性、关于邻近像素的连续性和深度图像中的图案的周期性；将权重值应用于所述相似性、所述连续性和所述周期性，并使用最小的总成本来确定丢失的深度值。

前述和/或其他方面还可通过提供一种获得镜面图像的几何形状的方法来实现，所述方法包括:接收多视点深度图像的输入；标定多视点深度图像；检测标定的多视点深度图像中的错误区域；修正错误区域的丢失的深度值。

修正错误区域的丢失的深度值的步骤可包括：从多视点深度图像中分离出视点相关像素和视点不相关像素，将多视点深度图像表示为视点相关像素和视点不相关像素的和；将不同的镜面模型应用于视点相关像素和视点不相关像素。

标定多视点深度图像的步骤可包括：匹配从网格图案中提取的特征点。

多视点深度图像可与具有M个视点的图像相应，其中，M可以是大于或等于2的自然数，检测标定的多视点深度图像中的错误区域的步骤可包括：计算多视点深度图像中的三维（3D）点的M个深度值的分布。

计算多视点深度图像中的3D点的M个深度值的分布的步骤可包括：计算从所述3D点的邻近3D点观测的M个深度值的分布。

检测标定的多视点深度图像中的错误区域的步骤可包括：将在分布中发现有多个峰值的3D点检测为错误区域。

可通过K-均值聚类算法或高斯混合模型拟合来计算分布，修正错误区域的丢失的深度值的步骤可包括:按照K-均值聚类算法或高斯混合模型拟合来从多个聚类中检测主聚类；使用主聚类中的采样的任意值、平均值、加权和或中值来确定所述3D点的深度值；用确定的深度值来代替丢失的深度值。

按照K-均值聚类算法或高斯混合模型拟合从多个聚类中确定主聚类的步骤可包括：将多个聚类中的具有最大数量的采样和最小变化的聚类确定为主聚类。

前述和/或其他方面还可通过提供一种用于获得镜面图像的几何形状的设备来实现，所述设备包括：单视点深度图像输入单元，被配置为接收深度图像的输入；单视点深度值估计单元，被配置为基于与深度图像的局部区域中的邻近值的连通性来估计丢失的深度值；单视点深度值修正单元，被配置为修正丢失的深度值。