[发明专利]一种基于深度学习的非接触式自动贴图方法

权利要求书

1.一种基于深度学习的非接触式自动贴图方法，其特征在于，步骤如下：

步骤一、准备物体和使用的相机，通过张正友标定法对相机进行标定，标定过程中使用色彩测试卡充当标定板，标定结束后得到相机内参数；针对物体采集多张原始图像，在采集每张原始图像的过程中，记录焦距参数；从而得到原始图像和与每张原始图像对应的相机内参数；利用色彩测试卡图片对每张原始图像进行色彩校正，所得图像为图像A；

步骤二、建立并训练相机外参数估计网络，所述相机外参数估计网络为卷积神经网络；具体内容如下：

建立相机外参数估计网络，相机外参数估计网络结构包括纹理特征提取网络、内参数特征提取网络、模型特征提取网络和全连接层A，对应所述的纹理特征提取网络、内参数特征提取网络、模型特征提取网络的输入分别为一张图像A、与图像A对应的相机内参数和物体的三维模型；

对所述相机外参数估计网络进行训练得到训练后的相机外参数估计网络，过程是：准备数据集，包括100个具有纹理的三维模型样本M_i，随机生成相机内参数I_i和相机外参数O_i，在渲染管线中使用相机内参数I_i、相机外参数O_i和三维模型样本M_i生成对应的图像样本T_i；使用相机内参数I_i、图像样本T_i和三维模型样本M_i作为相机外参数估计网络的输入，相机外参数O_i作为标签训练相机外参数估计网络，所述相机外参数估计网络的输出是相机外参数O_ie，训练过程使用的损失函数表示如下：

式(1)中，表示均方误差损失；

步骤三、将图像A、相机内参数和物体的三维模型输入到训练好的相机外参数估计网络中，得到相机外参数；

步骤四、将相机外参数、相机内参数、物体的三维模型和图像A输入到渲染管线中，对所述相机外参数、相机内参数、物体的三维模型进行渲染处理后得到渲染结果，调整渲染结果与对应的图像A的轮廓的重合程度达到要求；

步骤五、用户根据需求在所述图像A中确定要使用的区域，渲染管线将该区域内的图像的颜色值根据UV坐标保存在一个纹理贴图文件中，至此完成自动贴图。

2.根据权利要求1所述的基于深度学习的非接触式自动贴图方法，其特征在于，步骤一的具体内容如下：

在搭建好采集纹理贴图的工作平台后，将色彩测试卡摆放到工作台上，使用相机对色彩测试卡在不同角度拍摄，拍摄4～7张图片；将获得的色彩测试卡的图片作为输入，传入到张正友标定法的代码中，得到色彩测试卡图片的相机内参数并记录下来，分别包括成像坐标系原点相对于像素坐标系原点偏移量(x₀，y₀)、成像坐标系与像素坐标系横纵坐标的缩放尺度α，β；利用相机对物体进行图像采集，获得该物体的多张原始图像，采集过程中记录当前相机使用的焦距f；利用色彩测试卡图片对原始图像进行色彩校正，得到图像A。