[发明专利]孪生注意力网络、图像处理方法和装置

权利要求书

1.一种孪生注意力网络，其特征在于，所述孪生注意力网络包括N个并行的多Header注意力网络，所述N为大于或等于2的整数；其中，

每个所述多Header注意力网络包括变换器Transformer和M个并行的Header，所述Transformer和所述M个并行的Header连接；其中，所述M为大于或等于2的整数；

所述每个多Header注意力网络中M个并行的Header用于分别对目标待处理图像和M-1张参考待处理图像进行特征提取，得到目标特征矩阵和M-1个参考特征矩阵；其中，所述目标特征矩阵与所述目标待处理图像对应，所述M-1个参考特征矩阵分别与所述M-1张参考待处理图像一一对应；

所述每个多Header注意力网络中的Transformer用于根据所述M-1个参考特征矩阵对所述目标特征矩阵进行处理，得到第一特征矩阵。

2.根据权利要求1所述的注意力网络，其特征在于，所述Transformer包括时域注意力网络和自注意力网络；所述每个多Header注意力网络中的Transformer用于根据所述M-1个参考特征矩阵对所述目标特征矩阵进行处理，得到第一特征矩阵，包括：

所述时域注意力网络基于所述M-1个参考特征矩阵和所述目标特征矩阵生成对应的第一询问向量、第一键值向量和第一价值向量；并基于所述第一询问向量、所述第一键值向量和所述第一价值向量得到所述目标待处理图像对应的第二特征向量；

所述自注意力网络基于所述第二特征向量生成对应的第二询问向量、第二键值向量和第二价值向量；并基于所述第二询问向量、所述第二键值向量和所述第二价值向量生成所述第一特征矩阵。

3.根据权利要求1或2所述的注意力网络，其特征在于，所述每个多Header注意力网络还包括解码网络；所述解码网络与所述每个多Header注意力网络中的Transformer相连；

所述解码网络用于对所述第一特征矩阵进行处理，得到所述每个多Header注意力网络的输出结果；其中，所述输出结果包括所述目标待处理图像对应的特征图或特征向量。

4.一种图像处理方法，其特征在于，所述方法包括：

确定孪生注意力网络；其中，所述孪生注意力网络包括N个并行的多Header注意力网络，每个所述多Header注意力网络包括变换器Transformer和M个并行的Header，所述Transformer和所述M个并行的Header连接；所述N和所述M为大于或等于2的整数；

获取M张待处理图像，并将所述M张待处理图像分别输入每个多Header注意力网络中进行图像处理，得到所述每个多Header注意力网络的处理结果；

其中，所述每个多Header注意力网络中M个并行的Header用于分别对目标待处理图像和M-1张参考待处理图像进行特征提取，得到目标特征矩阵和M-1个参考特征矩阵；所述目标特征矩阵与所述目标待处理图像对应，所述M-1个参考特征矩阵分别与所述M-1张参考待处理图像一一对应；所述每个多Header注意力网络中的Transformer用于根据所述M-1个参考特征矩阵对所述目标特征矩阵进行处理，得到第一特征矩阵。

5.根据权利要求4所述的方法，其特征在于，所述N个并行的多Header注意力网络中每个多Header注意力网络的参数相同或不同。

6.根据权利要求4或5中所述的方法，其特征在于，所述确定孪生注意力网络，包括：

获取初始多Header注意力网络；

利用第一图像数据集对所述初始多Header注意力网络进行训练，得到所述多Header注意力网络；

基于所述N个多Header注意力网络确定所述孪生注意力网络；其中，所述孪生注意力网络包含的N个多Header注意力网络中每个多Header注意力网络的参数相同。