[发明专利]一种自监督单视图三维发丝模型重建方法及系统

权利要求书

1.一种自监督单视图三维发丝模型重建方法，其特征在于，所述方法包括：

获取肖像图像样本的发型区域占用图和发丝纹理方向图；

根据所述肖像图像样本，利用Ray-casting光线投射投影方式，获得所述肖像图像样本的投影视角；

根据图像编码器和训练好的VAE网络中的体积解码器，构建初始的单视图3D发型重建网络；

将所述肖像图像样本输入初始的单视图3D发型重建网络，获得所述肖像图像样本的重建体积模型；

将所述重建体积模型的占用场和方向场输入可微分体积渲染节点，按照所述肖像图像样本的投影视角进行投影，获得所述肖像图像样本的2D占用图和2D方向图；

以发型区域占用图和2D占用图的对应像素的差值，以及发丝纹理方向图和2D方向图的对应像素的差值构建损失函数；

以最小化损失函数为优化目标，对初始的单视图3D发型重建网络进行训练，获得训练好的单视图3D发型重建网络；

获取待重建肖像图像，并将所述待重建肖像图像输入所述训练好的单视图3D发型重建网络，获得所述待重建肖像图像的3D发型体积模型；

将所述待重建肖像图像的3D发型体积模型转换为3D发丝模型，并传入渲染器，获得3D数字化发型。

2.根据权利要求1所述的自监督单视图三维发丝模型重建方法，其特征在于，所述获取肖像图像样本的发型区域占用图和发丝纹理方向图，具体包括：

将肖像图像样本输入Gabor滤波器，获得肖像纹理方向图；所述肖像纹理方向图包括发丝的纹理方向；

将所述肖像纹理方向图和所述肖像图像样本输入UNet++分割网络，获得发型区域占用图；

在所述肖像纹理方向图中提取所述发型区域占用图对应的发型区域，获得发丝纹理方向图。

3.根据权利要求1所述的自监督单视图三维发丝模型重建方法，其特征在于，所述根据图像编码器和训练好的VAE网络中的体积解码器，构建初始的单视图3D发型重建网络，之前还包括：

从数据库中获取多个表示3D发型的发丝模型；

将每个发丝模型转换为体积模型，构成体积模型训练集；

利用所述体积模型训练集对VAE网络进行训练，获得训练好的VAE网络；所述训练好的VAE网络包括体积编码器和体积解码器。

4.根据权利要求3所述的自监督单视图三维发丝模型重建方法，其特征在于，所述将每个发丝模型转换为体积模型，具体包括：

计算发丝模型的每个体素的发丝穿过数量；

将发丝穿过数量为0的体素的占用场设置为0；

将发丝穿过数量不为0的体素的占用场设置为1，并将所有穿过所述体素的发丝的平均生长方向作为所述体素的方向场的值；

发丝模型中所有体素的占用场和方向场构成发丝模型对应的体积模型。

5.根据权利要求3所述的自监督单视图三维发丝模型重建方法，其特征在于，利用所述体积模型训练集对VAE网络进行训练，获得训练好的VAE网络，具体包括：

利用所述体积模型训练集对VAE网络进行训练，获得一次训练好的VAE网络；

将所述体积模型训练集输入所述一次训练好的VAE网络中的体积编码器，获得编码后的体积模型训练集；

对编码后的体积模型训练集中的编码后的体积模型进行插值，获得体积编码模型训练集；

将体积编码模型训练集输入所述一次训练好的VAE网络中的体积解码器，获得扩充后的体积模型训练集；

利用扩充后的体积模型训练集对所述一次训练好的VAE网络进行训练，获得二次训练好的VAE网络。

6.根据权利要求1所述的自监督单视图三维发丝模型重建方法，其特征在于，将所述重建体积模型的占用场和方向场输入可微分体积渲染节点，按照所述肖像图像样本的投影视角进行投影，获得所述肖像图像样本的2D占用图和2D方向图，之前还包括：

利用PyTorch的CudaExtension模块，将Cuda程序编译成Pytorch的自定义结点；

手动编写所述自定义结点的正向传播函数和反向传播函数；

将体积渲染节点输入所述自定义结点，获得可微分体积渲染节点。