[发明专利]一种构建基于ViT模型的密集预测任务适配器的方法

权利要求书

1.一种构建基于ViT模型的密集预测任务适配器的方法，包括以下步骤：

获取预训练ViT模型，该ViT模型包含用于将图像切分为不重叠的图像块的多个ViT分块；

在ViT模型外部增设适配器，该适配器包含先验模块以及多个交替串联的注入器和特征提取器，所述先验模块用于获得输入图像的空间先验特征，所述注入器和特征提取器成对出现，将ViT模型按照层数分为层数相同的N块，每一个ViT分块配备一对注入器和特征提取器；

加载ViT模型的预训练权重，并在密集预测任务上利用所述适配器微调该ViT模型的参数。

2.根据权利要求1所述的方法，其特征在于，所述先验模块依次包括茎网络和多层卷积层，所述茎网络对输入图像提取第一特征图，所述多层卷积层对第一特征图进一步提取不同分辨率的多个特征图，所述空间先验特征通过将所述多个特征图长宽维度进行展平操作并进行拼接获得。

3.根据权利要求2所述的方法，其特征在于，所述茎网络包括三层卷积层和一层最大池化层，其中卷积层的卷积核大小均为3*3，填充大小为1，步长分别为2、1、1，最大池化层的核大小为2*2，步长为2，所述第一特征图是相对输入图像1/4分辨率的特征图；所述多层卷积层设置为三层，各卷积层的卷积核大小为3*3，步长为2，填充大小为1，得到分辨率分别为1/8、1/16、1/32的特征图。

4.根据权利要求2所述的方法，其特征在于，所述先验模块包含一个茎网络以及用于提取不同深度特征的四个阶段，输入图像经过该茎网络和第一阶段，得到相对输入图像1/4分辨率的第一特征图，进而，该第一特征图依次经第二阶段、第三阶段和第四阶段，得到分辨率分别为1/8、1/16、1/32的特征图，其中所述四个阶段由卷积层构成。

5.根据权利要求1所述的方法，其特征在于，对于从1进行编号的第i注入器，当i大于等于1时，将ViT模型第i分块的输入特征作为询问Query，将第i-1特征提取器的输出作为键Key与值Value进行交叉注意力机制的计算，得到与ViT模型第i分块输入形状相同的输出，传递回ViT模型第i分块作为输入；当i等于1时，将ViT模型第i分块的输入特征作为询问Query，将所述先验模块的输出作为键Key与值Value进行交叉注意力机制的计算。

6.根据权利要求4所述的方法，其特征在于，对于从1进行编号的第i特征提取器，当i大于等于2时，将ViT模型第i分块的输出特征作为键Key与值Value，将第i-1特征提取器的输出特征作为询问Query进行交叉注意力机制的计算，并将输出进行归一化后，输入卷积前馈神经网络进行局部特征增强，计算得到的输出作为第i+1注入器的输入；当i等于1时，将ViT模型第i分块的输出特征作为键Key与值Value，将所述先验模块的输出作为询问Query进行交叉注意力计算。

7.根据权利要求6所述的方法，其特征在于，所述注入器和所述特征提取器中的交叉注意力机制采用可变形注意力机制、全局注意力机制、滑窗注意力机制或线性空间降维注意力机制。

8.根据权利要求1所述的方法，其特征在于，还包括：利用根据权利要求1至7任一项所述方法构建的基于ViT模型的密集预测任务适配器以及微调的ViT模型进行目标任务预测。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现根据权利要求1至8中任一项所述的方法的步骤。

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。