[发明专利]虚拟视点合成方法、装置、电子设备及可读存储介质

说明书

本发明公开了一种虚拟视点合成方法、装置、电子设备及可读存储介质，属于图像处理技术领域。具体实现方案包括：获取参考视点的原始纹理图和原始深度图；根据所述原始纹理图和所述原始深度图，重建得到所述参考视点的背景纹理图和背景深度图；获取所述原始纹理图和所述背景纹理图之间的差异信息；根据所述差异信息，利用所述背景深度图对所述原始深度图进行优化，得到优化后的深度图；根据所述原始纹理图和所述优化后的深度图，进行虚拟视点合成。根据本申请中方案，可以提升对深度图的改善效果，从而有效改善虚拟视点视频的时域稳定性。

技术领域

本发明属于图像处理技术领域，具体涉及一种虚拟视点合成方法、装置、电子设备及可读存储介质。

背景技术

目前，针对虚拟视点视频提升时域稳定性的方法通常是，对原始深度图进行预处理操作，比如对原始深度图进行中值滤波，并基于预处理后的深度图进行虚拟视点合成。但是，由于现有技术在深度图的预处理方面，往往是采用简单的中值滤波等方式进行预处理，将会对深度图的改善效果有限，从而无法有效改善虚拟视点视频的时域稳定性。

发明内容

本发明实施例的目的是提供一种虚拟视点合成方法、装置、电子设备及可读存储介质，以解决目前方法无法有效改善虚拟视点视频的时域稳定性的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种虚拟视点合成方法，包括：

获取参考视点的原始纹理图和原始深度图；

根据所述原始纹理图和所述原始深度图，重建得到所述参考视点的背景纹理图和背景深度图；

获取所述原始纹理图和所述背景纹理图之间的差异信息；

根据所述差异信息，利用所述背景深度图对所述原始深度图进行优化，得到优化后的深度图；

根据所述原始纹理图和所述优化后的深度图，进行虚拟视点合成。

可选的，所述根据所述原始纹理图和所述原始深度图，重建得到所述参考视点的背景纹理图和背景深度图，包括：

根据所述参考视点的视频帧序列，分别对所述原始纹理图和所述原始深度图进行时域的中值滤波，得到所述背景纹理图和所述背景深度图。

可选的，所述获取所述原始纹理图和所述背景纹理图之间的差异信息，包括：

计算所述背景纹理图中各个像素点和所述原始纹理图中对应像素点的像素值的差值；

所述根据所述差异信息，利用所述背景深度图对所述原始深度图进行优化，得到优化后的深度图，包括：

根据所述差值，利用所述背景深度图对所述原始深度图进行优化，得到优化后的深度图。

可选的，所述根据所述差值，利用所述背景深度图对所述原始深度图进行优化，得到优化后的深度图，包括：

根据所述差值和预设阈值的对比，获取二值化图；其中，当所述差值大于或等于所述预设阈值时，所述二值化图中的对应像素点取值为第一值；或者，当所述差值小于所述预设阈值时，所述二值化图中的对应像素点取值为第二值；

将所述原始深度图中与第一像素点对应的像素点保留原始深度值，以及，利用所述背景深度图，对所述原始深度图中的与第二像素点对应的像素点进行深度值的覆盖，得到所述优化后的深度图；其中，所述第一像素点为所述二值化图中的取值为第一值的像素点，所述第二像素点为所述二值化图中的取值为第二值的像素点。

可选的，所述根据所述原始纹理图和所述优化后的深度图，进行虚拟视点合成，包括：

使用所述原始纹理图和所述优化后的深度图进行DIBR的虚拟视点合成。