[发明专利]基于平面先验的深度图生成方法、装置、设备及存储介质

权利要求书

1.一种基于平面先验的深度图生成方法，其特征在于，所述方法包括：

获取基于不同视角拍摄的目标场景的多个场景图像，并对所述多个场景图像中的参考视角图像进行平面检测，获得所述参考视角图像中的平面信息；其中，所述平面信息用于指示所述属于同一平面的像素点；

基于所述多个场景图像之间的像素特征关联度，从所述参考视角图像包括的各个像素点中，确定出像素特征关联度满足设定关联条件的参考像素点集合；

基于所述平面信息以及所述参考像素点集合，获得所述参考视角图像的平面先验条件；

以所述平面先验条件为约束，基于所述多个场景图像之间的像素特征关联度，获得所述参考视角图像的深度图。

2.如权利要求1所述的方法，其特征在于，基于所述平面信息以及所述参考像素点集合，获得所述参考视角图像的平面先验条件，包括：

基于所述参考像素点集合，采用三角网剖分方法进行平面拟合处理，获得三角网状结构，所述三角网状结构中的每个三角平面包括所述参考像素点集合中的三个参考像素点；

基于所述平面信息，对所述三角网状结构中位于同一平面的参考像素点所对应的三角平面进行合并处理，获得合并后的三角网状结构；

基于所述合并后的三角网状结构，获得所述平面先验条件。

3.如权利要求1所述的方法，其特征在于，基于所述平面信息以及所述参考像素点集合，获得所述参考视角图像的平面先验条件，包括：

基于所述平面信息，确定所述参考像素点集合中属于同一平面的多个参考像素点组，每个参考像素点组包括至少一个参考像素点；

对获得的多个参考像素点组分别进行平面拟合处理，获得由相应的多个拟合平面组成的平面组合结构；其中，每个参考像素点组对应所述多个拟合平面中的一个拟合平面；

基于所述平面组合结构，获得所述平面先验条件。

4.如权利要求1所述的方法，其特征在于，采用平面检测方法对目标视角对应的参考视角图像进行平面检测，获得所述参考视角图像中的平面信息，包括：

对所述参考视角图像进行图像语义分割，获取所述参考视角图像中各个平面区域各自对应的平面掩膜；

对参考视角图像进行深度估计处理，获取参考视角图像的估算深度图；

基于估算深度图，对平面掩膜进行更新处理，以获得参考视角图像的平面信息。

5.如权利要求1～4任一所述的方法，其特征在于，基于所述多个场景图像之间的像素特征关联度，从所述参考视角图像包括的各个像素点中，确定出像素特征关联度满足设定关联条件的参考像素点集合，包括：

针对所述各个像素点，分别执行如下步骤：

针对一个像素点，确定所述一个像素点在所述参考视角图像中的立体匹配区域，每个立体匹配区域包括以所述一个像素点为基准点的设定范围的图像区域；

分别确定所述立体匹配区域在其他场景图像中的映射区域，与所述立体匹配区域之间的像素特征关联度；其中，所述其他场景图像为所述多个场景图像中除所述参考视角图像之外的场景图像；

从所述各个像素点中，确定出像素特征关联度满足设定关联条件的参考像素点集合。

6.如权利要求5所述的方法，其特征在于，在分别确定所述立体匹配区域在其他场景图像中的映射区域，与所述立体匹配区域之间的像素特征关联度之前，所述方法还包括：

对所述各个像素点分别进行参数初始化，获得所述各个像素点各自对应的初始视差平面参数；

基于所述参考视角图像与所述其他场景图像中对应区域的像素特征关联度，对所述各个像素点各自对应的初始视差平面参数分别进行多次迭代更新过程，获得所述各个像素点各自对应的估计视差平面参数；

基于获得的各个估计视差平面参数，确定所述各个像素点各自对应的立体匹配区域，在所述其他场景图像中的映射区域。