[发明专利]一种基于生成对抗网络的模型纹理生成方法

权利要求书

1.一种基于生成对抗网络的模型纹理生成方法，其特征在于包括如下步骤：

步骤(1)对输入的无纹理贴图的三维模型，根据给定的采样规则，从多个视角获取模型的采样图；

步骤(2)对步骤(1)中的采样图做边缘检测处理，将采样图转化为线框图；

步骤(3)搭建并训练生成彩色纹理的生成对抗网络，然后将步骤(2)中的线框图作为网络的输入，通过生成对抗网络的处理，输出彩色纹理图；

步骤(4)将步骤(3)中的多张彩色纹理图映射到原三维模型上，实现纹理着色，获得具有纹理贴图的三维模型；

所述的步骤(1)中，对输入的无纹理贴图的三维模型，根据给定的采样规则，从多个视角获取模型的采样图，具体包括如下步骤：

1-1.通过设置模型的坐标，将模型的中心位置移动到虚拟世界的坐标原点，

1-2.设置相机的初始位置、镜头朝向和视口大小，获取投影矩阵；

1-3.根据设定的多个采样点，依次进行模型采样，具体的：

1-3-1.获取当前相机视口中的像素数据，导出采样图，并将相机移动到下一个采样点位置；

1-3-2.重复步骤1-3-1，直至相机在所有采样点位置均完成采样。

2.根据权利要求1所述的一种基于生成对抗网络的模型纹理生成方法，其特征在于所述的步骤(2)对步骤(1)中的采样图做边缘检测处理，将采样图转化为线框图，具体包括如下步骤：

2-1.计算采样图各像素的梯度和方向，找出所有边缘的集合，具体：

2-1-1.使用Sobel算子分别计算x方向和y方向的梯度

其中，S_x和S_y为Sobel算子，f(x，y)为要计算的像素点灰度值，G_x表示像素点x方向的梯度，G_y表示像素点y方向的梯度；

2-1-2.计算像素点的总梯度和方向：

θ＝arc tan(G_y/G_x)

其中，G为梯度强度，θ为梯度方向；

2-2.使用非极大值抑制，对采样图做边缘稀疏处理，如果当前像素的梯度值大于沿正负梯度方向两个像素的梯度值，则保留当前像素点，否则剔除该像素点；

2-3.设置高低两个阈值，筛选出强边缘像素和弱边缘像素；如果该像素的梯度值大于等于高阈值，则该像素为强边缘像素；如果该像素的梯度值小于高阈值且大于低阈值，则该像素为弱边缘像素；如果该像素的梯度值小于弱阈值，则将其剔除；

2-4.遍历弱边缘像素及其8领域内的像素点，如果没有发现任何强边缘像素，则将该像素点剔除。

3.根据权利要求2所述的一种基于生成对抗网络的模型纹理生成方法，其特征在于所述的步骤(3)搭建并训练生成彩色纹理的生成对抗网络，然后将步骤(2)中的线框图作为网络的输入，通过生成对抗网络的处理，输出彩色纹理图，具体包括如下步骤：

3-1.搭建生成对抗网络中的生成网络和判别网络，其中生成网络由八个卷积层和八个反卷积层构成，判别网络由五个卷积层构成；

3-2.输入数据集，训练网络模型；其中生成网络是将一张512*512的单通道线框图输入到网络中，输出一张512*512的三通道彩色图，而判别网络是将生成网络输出的彩色图与数据集中的真实图合并成一组512*512*6的数据，输入到网络中，输出一组30*30*1的数据，然后求和取平均，用于判别输入彩色图的真实性，两种网络的损失函数如下：

3-2-1.生成网络的损失函数为：

其中，为L1正则，x表示输入的线框图，y表示真实的彩色图，z表示生成网络的噪音数据，D表示判别网络的输出结果，是一个30*30的矩阵；G表示生成网络输出的一张彩色纹理图；E表示将矩阵所有元素求和取平均；λ是一个常量参数；

3-2-2.判别网络的损失函数为：

其中，x表示输入的线框图，y表示真实的彩色图，z表示生成网络的噪音数据，D表示判别网络的输出结果，是一个30*30的矩阵；G表示生成网络输出的一张彩色纹理图；E表示将矩阵所有元素求和取平均；

3-3.将步骤(2)中的线框图依次输入到训练完毕的生成网络中，输出对应的彩色纹理图。

4.根据权利要求3所述的一种基于生成对抗网络的模型纹理生成方法，其特征在于所述的步骤(4)将步骤(3)中的多张彩色纹理图映射到原三维模型上，实现纹理着色，获得具有纹理贴图的三维模型，具体包括如下步骤：

4-1.选择一个采样点与其对应的彩色纹理，根据当前采样点对模型的投影矩阵，将生成的彩色纹理各像素颜色映射到模型的对应顶点上，如果该顶点已经有颜色参数，则将该顶点颜色与纹理像素颜色求平均，成为新的顶点颜色；

4-2.重复步骤4-1直至所有采样点获取的彩色纹理全部映射完毕。