[发明专利]基于光线隐式场的多视角建模方法、装置和建模设备

说明书

本申请涉及一种基于光线隐式场的多视角建模方法、装置和建模设备。通过相机参数和多视图特征构建的成本体积的三维特征得到多视图中参考视图的初始深度图，再从参考视图的相机取景方向投射一组光线，根据初始深度图得到各光线的初始深度，并在各初始深度的预设范围内均匀采样，得到各光线对应的若干采样点，然后通过极线感知器的自注意力机制得到的各采样点多视图特征间的相关性得到采样点的多视图融合视图特征，通过叠加多视图融合视图特征和成本体积三维特征得到各采样点的融合特征，将融合特征输入序列模型预测得到对应光线隐式场的深度值，再根据各光线的深度值得到的精确深度图进行多视角建模。本方法中基于光线的深度估计更简单、轻量化。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种基于光线隐式场的多视角建模方法、装置和建模设备。

背景技术

自开创性工作MVSNet的问世以来，基于学习的多视角重建受到了广泛关注。MVSNet和大多数后续工作的核心思想是通过将多个源视图的图像特征变换到一组假设深度的前向平行扫描平面上，在参考视图的平截头体中构建三维成本体积，然后将3D卷积应用于成本体积，以提取3D几何特征并回归参考视图的最终深度图。

由于3D卷积通常存在较大的计算和内存消耗，因此大多数现有方法仅限于低分辨率成本体积。最近几项工作建议增加采样或细化成本量，以提高输出深度图的分辨率，然而，这种改进仍然需要在深度和空间(图像)分辨率之间进行权衡。例如，CasMVSNet选择缩小深度范围，以允许高分辨率深度贴图匹配输入RGB图像的空间分辨率，同时，它也将三维卷积限制在窄带内，导致三维特征学习效率降低。

发明内容

基于此，有必要针对上述技术问题，提供一种基于光线隐式场的多视角建模方法、装置和建模设备，以便提高多视角建模的速度和准确性。

一种基于光线隐式场的多视角建模方法，所述方法包括：

根据相机参数和多视图的二维特征构建成本体积，根据所述成本体积的三维特征得到参考视图的初始深度图；其中多视图包括参考视图和多个源视图；

从所述参考视图的相机取景方向投射一组光线，根据所述初始深度图得到各光线的初始深度，分别在各光线初始深度的预设范围内均匀采样，得到各光线对应的若干个采样点；

通过极线感知器的自注意力机制层得到各采样点的多视图的二维特征间的匹配相关性，根据所述匹配相关性得到各采样点的多视图融合特征，将所述多视图融合特征和所述成本体积的三维特征叠加得到各采样点的融合特征；

将所述各采样点的融合特征依次输入预先训练好的序列模型得到各采样点的序列特征和对应的整条光线特征，根据所述光线特征预测得到对应光线隐式场的深度值；

根据所有光线隐式场的深度值得到所述参考视图的精确深度图，根据所述精确深度图进行多视角建模。

在其中一个实施例中，通过极线感知器的自注意力机制层得到各采样点的多视图的二维特征间的匹配相关性为：

S＝SelfAttention(Q，K，V)＝Softmax(QK^T)V

Q＝XW_Q

K＝XW_k

V＝XW_v

其中，S为匹配相关性分数，Q为查询向量，K为键向量，V为值向量，X为输入的多视图二维特征，W_Q、W_k、W_v分别为自注意力机制层学习得到的查询向量、键向量、值向量的权重，为在第P个采样点的多视图的二维特征，N为采样点的个数，I为多视图的视图数量。

根据所述匹配相关性得到各采样点的多视图融合特征为：