[发明专利]一种基于注意力机制的阴影生成方法

权利要求书

1.一种基于注意力机制的阴影生成方法，其特征在于，包括以下步骤：

步骤1，拍摄用于构建数据集的原始图像数据并标定拍摄时的相机参数与光照条件，然后标注出原始图像中的真实阴影掩码图像与对应投射物的掩码图像；

步骤2，根据步骤1获取的相机参数与光照信息，以原始图像为背景渲染虚拟3D模型，得到同一条件下的有虚拟阴影合成图像、无虚拟阴影合成图像以及虚拟物体的掩码图像，这些图像与步骤1得到的掩码图像合在一起构成数据集；

步骤3，采用ResNet34模型的部分降采样模块与两个结构完全相同的插值-卷积上采样模块作为注意力模型，并用步骤2获取的数据集进行参数预训练，然后用预训练的注意力模型提取出输入合成图像中真实阴影与相应投射物的注意力特征；

步骤4，将步骤3提取到的注意力特征与图像特征进行特征融合，得到虚拟物体阴影生成的线索特征，然后将线索特征与虚拟物体掩码输入插值-卷积上采样模块得到虚拟物体阴影的残差图像，与输入图像相加得到最终的包含虚拟物体阴影的合成图像；其中，所述图像特征包括输入的无虚拟物体阴影合成图像和虚拟物体掩码；

步骤5，利用步骤2获取的数据集中的训练数据集，以监督学习的方式与条件对抗生成网络的形式训练步骤4的网络模型学习输入无虚拟物体阴影合成图像到输出有虚拟物体阴影合成图像的映射关系。

2.根据权利要求1所述的一种基于注意力机制的阴影生成方法，其特征在于：步骤1中描述的相机参数包括：相机中心偏移、焦距以及相机相对于世界坐标系的旋转与平移矩阵；步骤1中描述的光照信息分为两种：室内条件下的光照信息为产生最明显阴影的单个光源的几何中心位置坐标；室外条件下的光照信息为太阳光的方向向量坐标；步骤1基于特殊黑白标记物建立笛卡尔坐标系，相机的旋转与平移通过特殊黑白标记物的检测与识别完成，光照信息在特殊黑白标记物所定义的笛卡尔坐标系下测量得到。

3.根据权利要求1所述的一种基于注意力机制的阴影生成方法，其特征在于：所述步骤1中描述的原始图像用焦距固定为668像素的Logitech C920高清摄像头以640x480分辨率拍摄得到，每张图像中需要出现特殊黑白方形标记物，且需要有不少于1个实例的真实阴影与其投射物同时出现；真实阴影与其投射物的掩码图像通过labelme标注工具手动标注得到。

4.根据权利要求1所述的一种基于注意力机制的阴影生成方法，其特征在于：所述步骤2中描述的数据集的一条完整有效的数据记录包括5种图像：无虚拟物体阴影的合成图像、虚拟物体的掩码图像、有虚拟物体阴影的合成图像、真实阴影的掩码图像以及真实阴影投射物的掩码图像；一条完整的数据记录对应一个背景场景与一个插入其中的虚拟物体，掩码图像与图像中的物体对齐。

5.根据权利要求1所述的一种基于注意力机制的阴影生成方法，其特征在于：所述步骤2中描述的数据集中的合成图像需要通过以下方式得到：以真实照片为背景，以虚拟物体为前景，利用步骤1描述的相机参数与光照信息渲染得到合成图像，用Shadow Mapping方式渲染虚拟物体阴影，通过控制是否渲染阴影得到无阴影与有阴影的对应，通过设置前景白色与背景黑色得到精确的虚拟物体掩码图像。

6.根据权利要求1所述的一种基于注意力机制的阴影生成方法，其特征在于：步骤3使用注意力模型提取输入图像的注意力特征，训练时对于一张图像的损失函数定义如下：

{A_i}＝sigmoid(Attn(x，m))

其中，Attn(.)表示ResNet34降采样模块与插值-卷积上采样模块组成的注意力模型输出的注意力特征图，A表示注意力特征图经过sigmoid函数激活后的结果，x表示输入的无虚拟物体阴影合成图像，m表示虚拟物体掩码，图像的像素值全部归一化到范围[-1,1]；||.||₂表示2-范数，M表示步骤1标注的真实阴影与阴影投射物掩码图像，i为类别编号，i为0表示真实阴影，i为1表示阴影投射物；sigmoid为S型函数，能返回(0,1)区间的实数值，定义如下：