[发明专利]基于可形变划块的局部自注意力的图像处理方法和系统

权利要求书

1.一种基于可形变划块的局部自注意力的图像处理方法，其特征在于，包括：

对输入图像进行特征提取，得到第一特征图；

确定所述第一特征图的自注意力，得到目标特征图；

基于所述目标特征图确定图像处理的结果；

其中，所述确定所述第一特征图的自注意力，得到目标特征图，包括：

对所述第一特征图进行划块处理，基于所述第一特征图预测划块处理得到的每个块的第一偏移值和一组掩码值，基于所述第一偏移值对划块处理得到的每个块的范围进行修正；

基于所述第一特征图中修正后的每个块进行特征提取，基于所述掩码值对修正后的每个块所提取的特征进行修正，得到第二特征图；

对所述第二特征图进行划窗处理，基于所述第二特征图预测划窗处理得到的每个窗口的第二偏移值，基于所述第二偏移值对划窗处理得到的每个窗口的范围进行修正；

基于修正后的每个窗口确定所述第二特征图中每个块的自注意力，基于确定自注意力后的特征图得到所述目标特征图；

其中，对所述第一特征图进行划块处理，基于所述第一特征图预测划块处理得到的每个块的第一偏移值和一组掩码值，基于所述第一偏移值对划块处理得到的每个块的范围进行修正，包括：

对所述第一特征图进行划块处理，基于所述第一特征图，预测划块处理得到的每个矩形块的两个对角顶点的横坐标和纵坐标的偏移值和与预先设定的每个块内采样点的数量相同的一组掩码值；

基于所预测的每个矩形块的两个对角顶点的横坐标和纵坐标的偏移值，对划块处理得到的对应的矩形块的两个对角顶点的横坐标和纵坐标分别进行修正；

所述对所述第二特征图进行划窗处理，基于所述第二特征图预测划窗处理得到的每个窗口的第二偏移值，基于所述第二偏移值对划窗处理得到的每个窗口的范围进行修正，包括：

对所述第二特征图进行划窗处理，基于所述第二特征图，预测划窗处理得到的每个矩形窗口的两个对角顶点的横坐标和纵坐标的偏移值；

基于所预测的每个矩形窗口的两个对角顶点的横坐标和纵坐标的偏移值，对划窗处理得到的对应的矩形窗口的两个对角顶点的横坐标和纵坐标分别进行修正。

2.根据权利要求1所述的基于可形变划块的局部自注意力的图像处理方法，其特征在于，所述基于所述第一特征图中修正后的每个块进行特征提取，基于所述掩码值对修正后的每个块所提取的特征进行修正，得到第二特征图，包括：

基于预先设定的每个矩形块内采样点的数量，通过双线性插值确定所述第一特征图中修正后的每个矩形块内采样点的位置；

基于所确定的采样点的位置，对所述第一特征图中修正后的每个矩形块进行特征提取；

基于所述掩码值对修正后的每个矩形块所提取的特征进行修正，得到所述第二特征图。

3.根据权利要求2所述的基于可形变划块的局部自注意力的图像处理方法，其特征在于，所述掩码值的大小介于0到1之间。

4.根据权利要求1至3任一项所述的基于可形变划块的局部自注意力的图像处理方法，其特征在于，所述基于修正后的每个窗口确定所述第二特征图中每个块的自注意力，基于确定自注意力后的特征图得到所述目标特征图，包括：

基于划窗处理得到的每个矩形窗口内矩形块的相对位置编码，通过双线性插值确定修正后的每个矩形窗口内矩形块的相对位置编码；

基于所确定的相对位置编码，在修正后的每个矩形窗口内，确定所述第二特征图中每个矩形块的自注意力，基于确定自注意力后的特征图得到所述目标特征图。

5.根据权利要求4所述的基于可形变划块的局部自注意力的图像处理方法，其特征在于，所述对输入图像进行特征提取，得到第一特征图，包括：

对所述输入图像进行划块处理；

通过线性变换对划块处理得到的每个块进行特征提取处理，得到具有目标通道数的第三特征图；

对所述第三特征图进行划窗处理，基于所述第三特征图预测划窗处理得到的每个窗口的第二偏移值，基于所述第二偏移值对划窗处理得到的每个窗口的范围进行修正；

基于修正后的每个窗口确定所述第三特征图中每个块的自注意力，得到所述第一特征图。