[发明专利]基于可微渲染的振动液滴三维重建方法及装置

说明书

本发明提供一种基于可微渲染的振动液滴三维重建方法及装置，该方法包括：根据输入的相机参数建立可微的渲染模型；将输入的多视角液滴振动视频转换为同一时刻的多视角图像，对所述多视角图像做边缘提取；初始化液滴的三维模型，通过可微渲染模型得到对应的渲染图像；计算所述渲染图像和所述多视角图像间的损失函数值，反向传播到液滴的三维模型参数中，进行模型参数更新。该方法考虑到了液滴特征点不明显和振动快速的特点，用可微渲染结合物理模型描述，能够使液滴的三维模型在多个视角下和拍摄图像一致，达到了较快的重建速度和准确的重建精度。

技术领域

本发明涉及计算机图形技术领域，尤其涉及一种基于可微渲染的振动液滴三维重建方法及装置。

背景技术

传统的针对物体的三维重建技术主要依赖多视角几何原理基于视差进行计算。运动恢复结构方法(Structure from Motion)主要利用多个相机得到的图像进行三维的恢复，首先提取多视角图像的特征点并进行匹配，根据几何原理恢复出不同视角间的空间对应关系，先重建相机参数，再将不同图像的统一特征点结合起来计算目标物体的点云信息。

这种方法对于动态物体的鲁棒性低，对于液滴这样纹理少、特征点不明确的物体效果差，并且需要消耗大量的时间，实时性较差，且只能恢复出目标物体的点云，如果需要三角网格表示，需要后处理过程。

发明内容

针对现有技术存在的无法有效实现实时的重建特征点少的高速振动液滴这一问题，本发明提供一种基于可微渲染的振动液滴三维重建方法及装置。

本发明提供一种基于可微渲染的振动液滴三维重建方法，包括：根据输入的相机参数建立可微的渲染模型；将输入的多视角液滴振动视频转换为同一时刻的多视角图像，对所述多视角图像做边缘提取；初始化液滴的三维模型，通过可微渲染模型得到对应的渲染图像；计算所述渲染图像和所述多视角图像间的损失函数值，反向传播到液滴的三维模型参数中，进行模型参数更新。

根据本发明一个实施例的基于可微渲染的振动液滴三维重建方法，所述进行模型参数更新之后，还包括：重复以上一帧更新的三维模型参数作为初始模型，通过可微渲染模型得到对应渲染图像，计算渲染图像和当前帧多视角图像间的损失函数值，以及进行模型参数更新的过程，直至满足预设条件。

根据本发明一个实施例的基于可微渲染的振动液滴三维重建方法，所述根据输入的相机参数建立可微的渲染模型，包括：用软光栅化渲染器建立渲染模型，用像素位置的概率分布替代实体三角面片，使用距离相关的聚合函数替代三角面片的前后遮挡关系。

根据本发明一个实施例的基于可微渲染的振动液滴三维重建方法，所述初始化液滴的三维模型，包括：构造单位球面的三角网格模型，计算各个顶点振动模态的位移总和，径向移动三角网格的顶点，生成液滴的三角网格模型。

根据本发明一个实施例的基于可微渲染的振动液滴三维重建方法，所述损失函数包括：

其中，I_s,分别为拍摄图像和渲染图像的掩膜。

根据本发明一个实施例的基于可微渲染的振动液滴三维重建方法，所述反向传播到液滴的三维模型参数中，进行模型参数更新，包括：根据拉普拉斯正则项、损失函数和平滑正则项确定目标函数，根据所述目标函数进行参数更新。

本发明还提供一种基于可微渲染的振动液滴三维重建装置，包括：模型构建模块，用于根据输入的相机参数建立可微的渲染模型；图像处理模块，用于将输入的多视角液滴振动视频转换为同一时刻的多视角图像，对所述多视角图像做边缘提取；渲染图生成模块，用于初始化液滴的三维模型，通过可微渲染模型得到对应的渲染图像；模型重建模块，用于计算所述渲染图像和所述多视角图像间的损失函数值，反向传播到液滴的三维模型参数中，进行模型参数更新。