[发明专利]虚拟视点深度图处理方法、设备、装置及存储介质

说明书

本发明公开了一种虚拟视点深度图处理方法、设备、装置及存储介质，本申请通过将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图，利用预设滤波方法对所述虚拟视点深度图进行平滑处理，保留了深度图的边缘信息，将所述平滑处理后的虚拟视点深度图反向映射到所述预设参考视点的位置，以合成基于不同预设参考视点的虚拟视点纹理图，对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，提高了虚拟视点深度图的质量。

技术领域

本发明涉及图像处理领域，尤其涉及一种虚拟视点深度图处理方法、设备、装置及存储介质。

背景技术

基于深度图的图像绘制(DIBR)是虚拟视点合成领域中一项重要技术，该项技术利用参考视点的纹理图和深度图经过三维坐标变换即可得到任意虚拟视点的视图。利用DIBR技术在合成虚拟视点纹理图的过程中，部分背景纹理图在参考视点中由于被前景物体遮挡是不可见的，而在虚拟视点中是可见的，在这种情况下，虚拟视点纹理图中可能会存在空洞区域，深度图中存在的深度不连续区域是导致空洞产生的原因，而利用基于高斯滤波、均值滤波、中值滤波等深度图平滑处理的方法填补空洞时，没有保留深度图的边缘信息，导致合成纹理图的边缘区域存在重影的现象，因此虚拟视点深度图的质量较差。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种虚拟视点深度图处理方法、设备、装置及存储介质，旨在解决现有的深度图平滑处理的方法无法保留深度图的边缘信息，导致合成纹理图的边缘区域存在重影现象，虚拟视点深度图的质量较差的技术问题。

为实现上述目的，本发明提供一种虚拟视点深度图处理方法，所述虚拟视点深度图处理方法包括：

将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图；

对所述虚拟视点深度图进行双边滤波平滑处理，得到平滑的虚拟视点深度图；

根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图；

对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，以得到目标虚拟视点深度图。

可选地，所述将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图的步骤，包括：

根据所述预设参考视点对应的参考相机的内部参数，建立第一空间坐标系，并将所述参考视点深度图映射到所述第一空间坐标系下，以得到所述参考视点深度图的第一空间坐标；

根据所述虚拟视点对应的虚拟相机的内部参数，建立第二空间坐标系，并将所述第一空间坐标映射到所述第二空间坐标系下，以得到所述参考视点深度图的第二空间坐标；

对所述第二空间坐标进行反变换，得到所述第二空间坐标系与所述虚拟视点的图像坐标的第一映射关系；

根据所述第一映射关系，将所述参考视点深度图映射到所述虚拟视点的位置，得到所述虚拟视点深度图。

可选地，所述根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图的步骤，包括：

将所述平滑的虚拟视点深度图进行反向映射，以得到所述虚拟视点的空间坐标系与所述预设参考视点的空间坐标系的第二映射关系；

根据所述第二映射关系，将所述预设参考视点对应的参考视点纹理图映射到所述虚拟视点的位置，得到所述虚拟视点纹理图。

可选地，所述对所述虚拟视点纹理图进行加权融合的步骤，包括：