[发明专利]基于光线隐式场的多视角建模方法、装置和建模设备

权利要求书

1.一种基于光线隐式场的多视角建模方法，其特征在于，所述方法包括：

根据相机参数和多视图的二维特征构建成本体积，根据所述成本体积的三维特征得到参考视图的初始深度图；其中多视图包括参考视图和多个源视图；

从所述参考视图的相机取景方向投射一组光线，根据所述初始深度图得到各光线的初始深度，分别在各光线初始深度的预设范围内均匀采样，得到各光线对应的若干个采样点；

通过极线感知器的自注意力机制层得到各采样点的多视图的二维特征间的匹配相关性，根据所述匹配相关性得到各采样点的多视图融合特征，将所述多视图融合特征和所述成本体积的三维特征叠加得到各采样点的融合特征；

将所述各采样点的融合特征依次输入预先训练好的序列模型得到各采样点的序列特征和对应的整条光线特征，根据所述光线特征预测得到对应光线隐式场的深度值；

根据所有光线隐式场的深度值得到所述参考视图的精确深度图，根据所述精确深度图进行多视角建模。

2.根据权利要求1所述的方法，其特征在于，所述通过极线感知器的自注意力机制层得到各采样点的多视图的二维特征间的匹配相关性，根据所述匹配相关性得到各采样点的多视图融合特征，包括：

通过极线感知器的自注意力机制层得到各采样点的多视图的二维特征间的匹配相关性为：

S＝SelfAttention(Q，K，V)＝Softmax(QK^T)V

Q＝XW_Q

K＝XW_k

V＝XW_v

其中，S为匹配相关性分数，Q为查询向量，K为键向量，V为值向量，X为输入的多视图二维特征，W_Q、W_k、W_v分别为自注意力机制层学习得到的查询向量、键向量、值向量的权重，为在第P个采样点的多视图的二维特征，N为采样点的个数，I为多视图的视图数量。

根据所述匹配相关性得到各采样点的多视图融合特征为：

Z＝RddNorm(X)＝LayerNorm(X+S)

其中LayerNorm(·)为层标准化函数。

3.根据权利要求1所述的方法，其特征在于，所述极线感知器包括4个自注意力机制层；各所述自注意力机制层后包括2个AddNorm层和1个前馈层。

4.根据权利要求1所述的方法，其特征在于，所述将所述多视图融合特征和所述成本体积的三维特征叠加得到各采样点的融合特征，包括：

将所述多视图融合特征和所述成本体积的三维特征叠加得到各采样点的融合特征为：

其中，为采样点的多视图融合特征，为成本体积的三维特征，F_p为采样点的融合特征。

5.根据权利要求1所述的方法，其特征在于，所述将所述各采样点的融合特征依次输入预先训练好的序列模型得到各采样点的序列特征和对应的整条光线特征，包括：

将所述各采样点的融合特征依次输入预先训练好的序列模型得到对应的整条光线特征为：

c_k＝z^f○c_k-1+zⁱ○z

h_k＝z^o○tanh(c_k)

其中，F_k为采样点的序列特征，h_k-1为第k-1个隐节点，z为单元输入激活向量，z^f为遗忘门激活向量，z^u为更新门激活向量，z^o为输出门激活向量，c_k为第k个时刻输出的光线特征预测值，W、W^f、W^u、W^o分别为单元输入门、遗忘门、更新门和输出门的权重矩阵，b、b^f、b^u、b^o分别为单元输入门、遗忘门、更新门和输出门的偏置向量，○为点乘运算符号。