[发明专利]信息处理设备和信息处理方法

说明书

本公开涉及信息处理设备和信息处理方法。根据一个实施例的信息处理设备包括处理电路，处理电路被配置为获取彼此具有像素对应关系的第一深度图像、第二深度图像和强度图像，其中第二深度图像在图像质量方面优于第一深度图像。处理电路还被配置为基于第一深度图像、第二深度图像和强度图像进行训练过程，以得出解析稀疏表示模型的参数，其中该模型对第一深度图像、第二深度图像和强度图像之间的关系进行建模。处理电路被配置为输出所得出的参数。

技术领域

本公开一般涉及信息处理，更具体地，涉及与导引深度图像恢复有关的信息处理设备和信息处理方法。

背景技术

深度图像在诸如机器人科学、人机交互以及增强现实等许多应用中起到重要作用。常规的深度感测主要基于立体测量或激光测量。近来，诸如RGB-D(彩色图像-深度图像)摄像机和飞行时间(ToF)距离传感器等消费级深度感测产品被广泛应用。然而，由消费级深度传感器获得的深度图像在图像质量方面可能存在某些不足，例如可能存在分辨率低、噪声水平高以及深度值丢失(即，深度图中某些位置的深度值为空(null)，其也称为深度值的空洞(hole))等问题。引导深度图像恢复(guided depth image restoration)提供了用于提升深度图像的质量的手段，其利用强度图像如RGB图像的信息来提升深度图像的图像质量。

发明内容

对强度图像和深度图像之间的关系的建模是引导深度图像恢复的重要方面，已有的引导深度图像恢复方法通常基于手动设置的参数来进行上述建模。已有的引导深度图像恢复方法大致可分为基于滤波的方法、基于优化的方法以及基于字典学习的方法。

例如，通过将RGB值引入滤波权重计算过程，基于滤波的方法已被应用到RGB引导深度恢复问题。然而，这种方式在高精度深度图像恢复方面还不够理想，其一般需要手动设置参数来适应不同的图像。此外，基于滤波的方法通常只对两个像素之间的关系进行公式化，这种一次关系对于测量复杂的局部结构效果不佳。

另一类方法旨在将深度恢复问题转化为目标函数，并且将优化解用作恢复结果。这些方法中使用的优化函数通常由手动设置的函数形式和手动设置的参数构成。这些手动设置的函数和参数通常较为简单，因而不能很好地对退化深度图像、高质量深度图像以及强度图像之间的关系建模。

基于字典学习的方法利用字典原子(dictionary atom)来对深度图像块与强度图像块之间的统计依赖关系进行建模。该方法对深度图像块和强度图像块同时进行稀疏重构，需要使用具有高维特征向量的字典原子。更高的维数意味着更多的原子个数，使得训练阶段和测试阶段均存在较大计算负担。此外，基于字典学习的方法采用数据驱动训练策略。字典原子被训练以用同样的系数表示强度图像块和深度图像块，由于在测试阶段相应高质量深度图像块是未知的，因此这种策略导致训练阶段和测试阶段中的系数不一致。

针对引导深度图像恢复的以上问题中的至少一部分问题提出了本发明的实施例。

在下文中给出了关于本发明实施例的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

根据一个实施例，提供一种信息处理设备，其包括处理电路。处理电路被配置为获取彼此具有像素对应关系的第一深度图像、第二深度图像和强度图像，其中第二深度图像在图像质量方面优于第一深度图像。处理电路还被配置为基于第一深度图像、第二深度图像和强度图像进行训练过程，以得出解析稀疏表示模型的参数，其中该模型对第一深度图像、第二深度图像和强度图像之间的关系进行建模。处理电路还被配置为输出所得出的参数。