[发明专利]一种编码器的训练方法、装置及存储介质

权利要求书

1.一种编码器的训练方法，其特征在于，包括：

获取训练图像；

对所述训练图像进行处理操作，以得到第一样本和第二样本，所述第一样本和所述第二样本采用的处理操作不同；

将所述第一样本输入第一编码器进行特征提取得到第一特征向量，并将所述第二样本输入第二编码器进行特征提取得到第二特征向量；

将所述第一特征向量输入目标解码器得到第一预测信息，并将所述第二特征向量输入所述目标解码器得到第二预测信息，所述目标解码器包含至少两个串行的注意力模块，所述注意力模块用于提取所述第一特征向量的全局信息和所述第二特征向量的全局信息；

将所述第一预测信息与所述第二预测信息输入目标损失函数，以对所述第一编码器进行训练。

2.根据权利要求1所述的方法，其特征在于，所述对所述训练图像进行处理操作，以得到第一样本和第二样本，包括：

确定所述训练图像的类型；

基于所述训练图像的类型获取预设方式集合，所述预设方式集合包含至少两个类别的处理方式；

基于不同的所述处理方式分别对所述训练图像进行处理操作，以得到所述第一样本和所述第二样本。

3.根据权利要求1所述的方法，其特征在于，所述将所述第一特征向量输入目标解码器得到第一预测信息，并将所述第二特征向量输入所述目标解码器得到第二预测信息，包括：

基于第一映射器将所述第一特征向量映射为第一目标向量，并基于第二映射器将所述第二特征向量映射为第二目标向量，所述第一目标向量的维度数大于所述第一特征向量，所述第二目标向量的维度数大于所述第二特征向量，所述第二映射器的映射维度基于所述第一映射器传导所得；

将所述第一目标向量输入所述目标解码器得到所述第一预测信息，并将所述第二目标向量输入所述目标解码器得到所述第二预测信息。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取目标任务在图像识别过程中采用的目标特征维度；

基于所述目标特征维度对所述第一映射器进行映射维度配置，以使得所述第一映射器将所述目标特征维度传导至所述第二映射器进行映射维度配置；

基于映射维度配置后的所述第一映射器将所述第一特征向量映射为第一目标向量，并基于映射维度配置后的所述第二映射器将所述第二特征向量映射为第二目标向量。

5.根据权利要求1所述的方法，其特征在于，所述将所述第一特征向量输入目标解码器得到第一预测信息，并将所述第二特征向量输入所述目标解码器得到第二预测信息，包括：

将所述第一特征向量输入所述目标解码器中的第一全连接层得到第一分类向量，并将所述第二特征向量输入所述目标解码器中的第二全连接层得到第二分类向量；

将所述第一分类向量输入所述多头注意力层提取所述第一特征向量的全局信息，并将所述第二分类向量输入所述多头注意力层提取所述第二特征向量的全局信息；

将所述第一特征向量的全局信息输入所述第三全连接层得到所述第一预测信息，并将所述第二特征向量的全局信息输入所述第三全连接层得到所述第二预测信息。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取目标任务对应的特征分布信息；

提取所述特征分布信息对应的注意力分布，以确定空间关注度；

基于所述空间关注度对所述目标解码器对应的注意力模块数量进行配置。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取所述多头注意力层中配置的位置编码参数；

为所述位置编码参数配置调整参数，以使得所述位置编码参数在对第一编码器进行训练过程中进行参数调整。