[发明专利]一种基于局部多尺度重建的掩码图像生成算法

权利要求书

1.一种基于局部多尺度重建的掩码图像生成算法，包括以下步骤：

步骤S1，数据构建、数据预处理：图像生成算法的开源数据集主要是ImageNet、ADE20K和COCO Dataset，如需在自己的数据集上进行训练，需要将数据格式准备为与上述数据集一致；

步骤S2，图像编码器模块：首先对输入数据生成随机掩码，以非掩码区域的图像作为网络的输入，利用Vision Transformer网络对非掩码的图像进行特征提取，提取多尺度的网络特征；

步骤S3，图像解码模块：图像解码器输入是编码器输出的特征和输入数据生成的随机掩码，解码器模块包含Transformer模块、反卷积和多层感知机，解码器的结果与原图进行HOG特征提取后的结果进行损失计算；

步骤S4，局部多尺度重建：利用局部多尺度重建的思想，对图像进行逐步的重建，具体做法是对编码器提取的4个不同维度的特征都进行解码并与原图的HOG特征进行损失计算，最终得到完整的图像。

2.根据权利要求1所述的一种基于局部多尺度重建的掩码图像生成算法，其特征在于，步骤S1中的将输入的图像都进行尺寸归一化，统一为224*224的大小，并对数据进行均值为[0.485,0.456,0.406]，方差为[0.229,0.224,0.225]的正则化处理，处理完成后送入Vision Transformer网络进行特征提取。

3.根据权利要求1所述的一种基于局部多尺度重建的掩码图像生成算法，其特征在于，步骤S2中首先对输入数据生成随机掩码，将图片划分成无重叠的区域，再将未被掩码的图片区域作为Vision Transformer网络的输入，进行特征提取，得到4个维度的特征图。

4.根据权利要求1所述的一种基于局部多尺度重建的掩码图像生成算法，其特征在于，步骤S3中图像解码器模块解码器模块，输入是编码器输出的特征和输入数据生成的随机掩码，解码器模块包含小Transformer模块(局部重建)、反卷积和多层感知机，解码器的结果与原图进行HOG特征提取后的结果进行损失计算。

5.根据权利要求1所述的一种基于局部多尺度重建的掩码图像生成算法，其特征在于，步骤S4中利用局部多尺度重建的思想，对图像进行逐步的重建，具体做法是首先使用HOG算法对原始图像进行特征提取，得到真实值y_i；

其次是对于第i(i＝1,2,3,4)层，解码器的输入为未掩码图像的特征图x_i和掩码图像的token:其中表示第i层的共享可学习向量，m∈{0,1}表示图像是否掩码，0为非掩码，1为掩码，表示第i层第j个掩码；

解码器的输出可表示为与特征图x_i的大小相同，当解码器预测的输出与特征图x_i有不同尺度时，使用反卷积或者池化运算重新缩放预测使其与真实值y_i相同大小，依次对四个不同维度的特征都进行解码预测并与原图的HOG特征真实值y_i进行损失计算，最终得到完整的图像

其中依次对四个不同维度的特征都进行解码预测并与原图的HOG特征真实值y_i进行损失计算，训练损失是在所选层上的重建损失的加权之和，具体可以表示为式(1)：

其中是选择的层，w_i是每个局部损失的系数，N_i是每一层patch的数量，G(·)表示高斯损失函数。