[发明专利]一种基于视觉三维重建的定制面膜装置的制备方法

权利要求书

1.一种基于视觉三维重建的定制面膜装置的制备方法，其特征在于，包括如下步骤：

(1)拍摄多张人脸及参照物的图片，并在拍摄图片中的参照物上选择一条测量边，将其在真实空间中的长度以及测量边的两个端点的在拍摄图片中的坐标存入尺度参考文件中；

(2)选定一张正脸图片，在正脸图片上检测人脸，并标记穴位点和透气孔，分别存入穴位点坐标文件和透气孔坐标文件；

(3)使用三维重建技术获得每张图片的深度图和位姿；

(4)借助尺度参考文件中的数据和深度图以及位姿，重建具有真实尺度的人脸三维模型；

(5)使用三维模型处理软件精修人脸三维模型，删除穴位点和透气孔处的空间坐标，获得内层人脸模型和外层人脸模型；

(6)使用3D打印设备根据内层人脸模型和外层人脸模型分别打印内层人脸模型实体和外层人脸模型实体；

(7)将内层人脸模型实体和外层人脸模型实体进行组装，制成定制面膜装置；

步骤(3)的具体方法如下：

在拍摄的每张图片上提取特征点，匹配任意两张图片上的特征点获得匹配点对，使用对极约束或直接线性变换方法，结合匹配点对计算每张图片的位姿，并使用光束平差法优化位姿；使用基于双目视觉的立体匹配方法生成每张图片的深度图，使用深度图融合方法优化深度图，得到每张图片对应的深度图D_i与位姿T_iw；

步骤(4)的具体方法如下：

读取尺度参考文件中的数据和深度图D_i，计算每张图片上标记的测量边两个端点的对应的空间坐标P_i，Q_i及这两个空间点的欧式距离l_i：

选择欧式距离中的中值用于计算尺度缩放系数σ：

将每张图片对应的深度图乘上尺度缩放系数σ获得缩放后的深度图还原人脸模型的真实尺度：

读取缩放后的深度图及对应的位姿T_iw生成稠密点云，在稠密点云的基础上，划分三角网格，生成人脸三维模型；

其中，K为已经标定好的相机的内参模型，D_i(x_ip,y_ip)和D_i(x_iq,y_iq)分别为测量边的两个端点在深度图中对应坐标处的深度值，i为图片的索引，x_ip,x_iq为测量边两个端点在图片i中的横坐标，y_ip,y_iq为测量边两个端点在图片i中的纵坐标，L为测量边的真实长度；

步骤(5)中，读取穴位点坐标文件和正脸图片对应的缩放后的深度图计算每个穴位点的空间坐标，并删除人脸三维模型上以穴位点空间坐标为中心，半径为6mm的球体范围内的空间点实现设置按摩孔；

穴位点的空间坐标计算方法如下：

其中，E_j为标记在正脸图片上的第j个穴位点对应的空间点坐标，x_j为第j个穴位点在正脸图片中的横坐标，y_j为第j个穴位点在正脸图片中的纵坐标，为第j个穴位点在缩放后的深度图中对应坐标处的深度值；

步骤(5)中，读取透气孔坐标文件和正脸图片对应的缩放后的深度图计算每个透气孔的空间坐标，并删除人脸三维模型上以透气孔空间坐标为中心，半径为2mm的球体范围内的空间点；

透气孔的空间坐标的计算公式如下：

其中，F_n为标记在正脸图片上的第n个透气孔对应的空间点坐标，x_n为第n个透气孔在正脸图片中的横坐标，y_n为第n个透气孔在正脸图片中的纵坐标，为透气孔在缩放后的深度图中对应坐标处的深度值。