[发明专利]一种基于注意力机制的阴影生成方法

说明书

本发明提供一种基于注意力机制的阴影生成方法，首先对合成图像中的背景真实环境使用注意力机制提取有助于虚拟物体阴影生成推断的真实阴影与真实阴影的投射物等线索特征，然后使用深度神经网络模型生成虚拟物体的阴影，最后使用生成对抗训练优化整个模型。本发明有如下优点：能直接生成虚拟物体的阴影而不需要繁琐而困难的逆渲染过程；注意力机制提取线索特征与图像特征融合能生成合理的虚拟物体阴影；使用生成对抗方式进一步优化训练模型能够保留更好的细节。

技术领域

本发明属于计算图形学和计算机视觉领域，涉及一种阴影生成方法，尤其是一种基于注意力机制的阴影生成方法。

背景技术

增强现实技术将计算机生成的虚拟信息如图片、文字、三维物体或声音等无缝地与真实环境进行叠加融合。近年来，随着科技的飞速发展，硬件的计算能力大幅度提升，这使得增强现实技术在娱乐、教育与医疗等领域具有巨大的需求量。增强现实技术尽可能让合成图像或视频具有较强的真实感，其中光照一致性体现在合成图像中虚拟物体的阴影、明暗等方面，因此，虚拟物体的阴影生成是提升合成图像真实感的重要技术。但是现有方法通常使用逆渲染的方式估计出场景的三维几何信息、表面反射率、完整光照条件等信息，再通过这些信息完成三维物体的渲染得到包含虚拟物体阴影的合成图像。通过这样的方式生成虚拟物体的阴影需要依赖逆渲染过程中每一步的结果，但是在现有条件下，各个步骤均难以实现准确的估计，除此之外各个步骤的错误会逐步积累从而导致渲染得到的三维物体的阴影不合理。另一方面，如果采用现有逆渲染方式生成虚拟物体阴影的方式，在获取到以上信息之后依然需要大量的人机交互，比如光照方位角调整、光照参数设置、虚拟物体的摆放或虚拟平面设置等，这对于增强现实应用而言成本太高。

发明内容

本发明的目的是克服上述现有方法存在的缺陷，提供了一种基于注意力机制的直接为合成图像生成虚拟物体阴影的方法，利用合成图像中的真实环境背景信息使用注意力机制提取合成图像中真实阴影与产生真实阴影的遮挡物等线索信息的特征，然后使用深度神经网络模型生成虚拟物体的阴影，最后使用生成对抗训练优化整个模型。为了方便叙述，下文将“产生真实阴影的遮挡物”简单地表述为“投射物”。

本发明的上述技术问题主要是通过以下技术方案得以解决的，一种基于注意力机制的阴影生成方法，包括以下步骤：

步骤1，拍摄用于构建数据集的原始图像数据并标定拍摄时的相机参数与光照条件，然后标注出原始图像中的真实阴影掩码图像与对应投射物的掩码图像；

步骤2，根据步骤1获取的相机参数与光照信息，以原始图像为背景渲染虚拟3D模型，得到同一条件下的有虚拟阴影合成图像、无虚拟阴影合成图像以及虚拟物体的掩码图像，这些图像与步骤1得到的掩码图像合在一起构成数据集。数据集划分为训练集与测试集；

步骤3，采用ResNet34模型的部分降采样模块与两个结构完全相同的插值-卷积上采样模块作为注意力模型，并用步骤2获取的数据子集进行参数预训练，然后用预训练的注意力模型提取出输入合成图像中真实阴影与相应投射物的注意力特征；

步骤4，采用ResNet34模型的部分降采样模块提取输入合成图像的全局特征，将步骤3提取到的注意力特征与图像特征进行特征融合，得到虚拟物体阴影生成的线索特征，然后将线索特征与虚拟物体掩码输入插值-卷积上采样模块得到虚拟物体阴影的残差图像，与输入图像相加得到最终的包含虚拟物体阴影的合成图像；

步骤5，利用步骤2获取的训练集，以监督学习的方式与条件对抗生成网络的形式训练步骤4的网络模型学习输入无虚拟物体阴影合成图像到输出有虚拟物体阴影合成图像的映射关系。