[发明专利]基于可微渲染的振动液滴三维重建方法及装置

权利要求书

1.一种基于可微渲染的振动液滴三维重建方法，其特征在于，包括：

根据输入的相机参数建立可微的渲染模型；

将输入的多视角液滴振动视频转换为同一时刻的多视角图像，对所述多视角图像做边缘提取；

初始化液滴的三维模型，通过可微渲染模型得到对应的渲染图像；

计算所述渲染图像和所述多视角图像间的损失函数值，反向传播到液滴的三维模型参数中，进行模型参数更新；

所述根据输入的相机参数建立可微的渲染模型，包括：

用软光栅化渲染器建立渲染模型，用像素位置的概率分布替代实体三角面片，使用距离相关的聚合函数替代三角面片的前后遮挡关系；

所述初始化液滴的三维模型，包括：

构造单位球面的三角网格模型，计算各个顶点振动模态的位移总和，径向移动三角网格的顶点，生成液滴的三角网格模型。

2.根据权利要求1所述的基于可微渲染的振动液滴三维重建方法，其特征在于，所述进行模型参数更新之后，还包括：

重复以上一帧更新的三维模型参数作为初始模型，通过可微渲染模型得到对应渲染图像，计算渲染图像和当前帧多视角图像间的损失函数值，以及进行模型参数更新的过程，直至满足预设条件。

3.根据权利要求1所述的基于可微渲染的振动液滴三维重建方法，其特征在于，所述损失函数包括：

其中，I_s,分别为拍摄图像和渲染图像的掩膜。

4.根据权利要求1所述的基于可微渲染的振动液滴三维重建方法，其特征在于，所述反向传播到液滴的三维模型参数中，进行模型参数更新，包括：

根据拉普拉斯正则项、损失函数和平滑正则项确定目标函数，根据所述目标函数进行参数更新。

5.一种基于可微渲染的振动液滴三维重建装置，其特征在于，包括：

模型构建模块，用于根据输入的相机参数建立可微的渲染模型；

图像处理模块，用于将输入的多视角液滴振动视频转换为同一时刻的多视角图像，对所述多视角图像做边缘提取；

渲染图生成模块，用于初始化液滴的三维模型，通过可微渲染模型得到对应的渲染图像；

模型重建模块，用于计算所述渲染图像和所述多视角图像间的损失函数值，反向传播到液滴的三维模型参数中，进行模型参数更新；

所述模型构建模块，具体用于：

用软光栅化渲染器建立渲染模型，用像素位置的概率分布替代实体三角面片，使用距离相关的聚合函数替代三角面片的前后遮挡关系；

所述渲染图生成模块，具体用于：

构造单位球面的三角网格模型，计算各个顶点振动模态的位移总和，径向移动三角网格的顶点，生成液滴的三角网格模型。

6.根据权利要求5所述的基于可微渲染的振动液滴三维重建装置，所述模型重建模块，还用于：

重复以上一帧更新的三维模型参数作为初始模型，通过可微渲染模型得到对应渲染图像，计算渲染图像和当前帧多视角图像间的损失函数值，以及进行模型参数更新的过程，直至满足预设条件。

7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述基于可微渲染的振动液滴三维重建方法的步骤。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于可微渲染的振动液滴三维重建方法的步骤。