[发明专利]一种精细化高质量效果的材质风格迁移系统

说明书

本发明公开的一种精细化高质量效果的材质风格迁移系统包括对数据集风格材质图像的自动精细化筛选模块、经典材料风格迁移模块、原图像材质部分的割精细化分模块、以及合成模块；自动精细化筛选模块用于在现有的标准风格图片数据集中筛选出材质类间差大的风格图片数据集；经典材料风格迁移模块基于筛选过后的数据集中风格图片，将原图像转换成目标风格材质图像I_gen；精细化分割模块用于将原图像中待迁移材质部分从原图像中分割出来，并将原图像中待迁移材质部分定义为目标区域，其它区域定义为背景区域；合成模块用于将图像I_gen中与目标区域对应的部分，与原图像背景区域进行合成。

技术领域

本发明属于虚拟现实领域，具体来讲，是一种精细化高质量效果的材质风格迁移系统。

发明背景

材质迁移的概念是将物体的原始材质更改为所选目标图像风格材质的合成图片，举例来讲，可以把原图中的木头材质(原始材质)的物体，改变为金属材质(目标图像风格材质)的物体，而形成的合成图片，合成图片中除了木头材质部分之外，其他部分不变。这种技术可以改变人类对物体的感知，它可以与增强现实相结合(AR)和虚拟现实(VR)设备，具有很好的应用价值。

目前，材质迁移的一个重要问题是合成图像的质量依靠于所选风格的图像。此外，必须只能在原始材质所在的限定区域内进行材质迁移。主要存在两个关键的工程问题：

(1)数据集筛选：所选风格材质图像如何能够更加清楚地表示目标材质，人们需要的是类和类之间(类间)样本差异更大，一个类内内部(类内)样本差异更小的数据集；

(2)在像素级有标签数据集数量很少的前提下，如何对原始对象中的原始材质部分进行精细化分割。

对于这两个问题，现有的材质迁移算法解决方案的研究集中在材质迁移任务本身的迁移算法性能上，但是未考虑以上这两个工程问题。

发明内容

本发明基于现有的人工智能、虚拟现实技术，对现有的材料风格迁移算法面临的风格材质图像精细化选择、有标签数据量很少的前提下的原有材质部分精细化分割两个工程问题，提出了解决方案。它可以很好的解决以上的问题，提高材质风格迁移时的效果。

本发明提出了一种精细化高质量效果的材质风格迁移系统，包括对数据集风格材质图像的自动精细化筛选模块、经典材料风格迁移模块、原图像材质部分的割精细化分模块、以及合成模块；

自动精细化筛选模块用于在现有的标准风格图片数据集中筛选出材质类间差大的风格图片数据集；

经典材料风格迁移模块基于筛选过后的数据集中风格图片，将原图像转换成目标风格材质图像I_gen；

精细化分割模块用于将原图像中待迁移材质部分从原图像中分割出来，并将原图像中待迁移材质部分定义为目标区域，其它区域定义为背景区域；

合成模块用于将图像I_gen中与目标区域对应的部分，与原图像背景区域进行合成。

进一步的，自动精细化筛选模块用于在风格图片数据集中筛选出材质类间差大风格图片数据集，具体包括如下内容：

在经典神经风格迁移算法的CNN学习过程结束后，重新把所有现有的数据集样本全部输入到CNN中，对每个样本分类的可能性值进行统计，得到样本si分类的第一可能值和第二可能性值之间的差Dth1，表示为：

其中，si表示样本编号，cli为样本集中标签已知的样本类的编号，取值为{1，2，3，……，cltot}，cltot是样本类的总数；cl是样本被识别为某类样本的编号，取值为{1，2，3，……，cltot}，cltot是样本类的总数；括号里面1、2代表第1可能性和第2可能性，从高到低。