[发明专利]一种基于高频信息引导的HF-NET深度图像超分辨方法及系统

说明书

本发明提供了一种基于高频信息引导的HF‑NET深度图像超分辨方法及系统，所述方法包括：获取低分辨率深度图像和高分辨率彩色图像；根据获取的低分辨率深度图像和高分辨率彩色图像，利用HF‑NET得到高分辨率深度图像；其中，利用所述HF‑NET得到高分辨率深度图像，依次包括基本特征提取阶段、深层次特征提取阶段和卷积层重构阶段。本发明通过将彩色特征分解为高频分量和低频分量，有效的利用彩色特征中的高频信息来引导深度图像的超分辨，注重使用有效的高频细节信息来提高性能，同时由于摒弃掉了颜色特征中的低频信息，从而降低了计算的复杂度。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于高频信息引导的HF-NET深度图像超分辨方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

3D技术与现代生活息息相关，变得越来越流行，因为它可以为用户提供任何视点和角度的交互式以及沉浸式的视觉体验。而深度图像是三维内容的关键组成部分之一，反映了三维世界的几何信息。目前3D成像系统的技术还不是完全成熟，无法支持基于深度信息的应用，比如3D建模、人机交互、自动驾驶等。传统的彩色相机可以轻易的捕获纹理丰富的高分辨率的高质量彩色图像，但是在实际场景中，深度信息的获得是一项非常具有挑战性的任务。由于实际场景具有复杂多样的特点，并且受限于深度传感器的限制，影响了深度图像捕获的精度，导致了各种退化，比如分辨率低、深度信息缺失、噪声干扰等。而直接从深度传感器获得高分辨率深度图像往往非常困难，因此，需要有效的深度图像超分辨技术，从给定的低分辨率深度图像输出高分辨率深度图像。

图像超分辨作为计算机视觉领域最活跃的研究课题之一。一般来说，主要有两种不同类型的图像超分辨方法。第一种是基于单张深度图像的超分辨方法，它非常依赖于图像先验来生成高分辨率图像。虽然计算简单。但不能很好地恢复高频细节。第二种是基于彩色信息引导的深度图像超分辨，深度图像主要由深度边界分隔开的多个平滑区域组成，在深度超分辨任务中，深度图中的高频深度边界区域相对于深度平滑区域更加难以构造。而这类的方法一般基于深度不连续点与相应的强度边缘相对应的假设，通过从对齐的高分辨率彩色图像中引入额外的引导信息，增加可靠性和鲁棒性。当前算法仍存在高频细节无法有效恢复、深度信息缺失等问题。

发明内容

本发明为了解决上述问题，提出了一种基于高频信息引导的HF-NET深度图像超分辨方法及系统，本发明能够有效获取高分辨率深度图像。

根据一些实施例，本发明采用如下技术方案：

一种基于高频信息引导的HF-NET深度图像超分辨方法，包括：

获取低分辨率深度图像和高分辨率彩色图像；

根据获取的低分辨率深度图像和高分辨率彩色图像，利用HF-NET得到高分辨率深度图像；

其中，利用所述HF-NET得到高分辨率深度图像，依次包括基本特征提取阶段、深层次特征提取阶段和卷积层重构阶段。

进一步地，所述基本特征提取阶段，包括通过三层卷积层提取低分辨率深度图像和高分辨率彩色图像初始化的深度特征和颜色特征。

进一步地，所述深度特征用于输入深层次特征提取阶段的多尺度分支；所述颜色特征用于输入到深层次特征提取阶段的高频引导分支。

进一步地，所述多尺度分支，通过多个多尺度模块，逐步恢复高分辨率特征空间中缺失的深度细节。

进一步地，所述高频引导分支，通过多个高频引导模块，突出颜色特征中的高频分量，抑制低频分量。

进一步地，所述基本特征提取阶段，还包括利用融合模块对多尺度模块和高频引导模块输出的特征结果进行融合。

进一步地，所述卷积层重构阶段，包括对所述融合模块输出的特征结果进行卷积重建高分辨率深度图像。