[发明专利]一种图像处理方法及装置

说明书

本说明书公开了一种图像处理方法及装置。通过编码器将目标图像划分为各图像块并进行分组，在每组图像块内计算各图像块的组内权重，以确定各组图像块对应的加权特征矩阵以及该目标图像对应的组合加权特征矩阵。基于得到的组合加权特征矩阵，进一步计算各组图像块的全局权重，以确定各组图像块的全局加权特征矩阵，并确定由各全局加权特征矩阵构成的全局特征，作为编码器的编码结果，将该编码结果输入到解码器后，确定该目标图像的图像处理结果。能够在减少计算量的同时，进行分组以及全局的自注意力权重计算，能够充分确定各图像块间以及各组图像块间的相关度，以得到准确的注意力权重，使得解码器能够输出更准确的图像处理结果。

技术领域

本说明书涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

图像处理模型在各种领域得到了广泛应用，例如，无人驾驶设备在自动驾驶时，通过目标检测、语义分割等图像处理模型识别环境中的障碍物，以进行路径规划、避障等。在地质监测时，通过对卫星图像进行语义分割，确定土地覆盖信息等。在交通领域，通过目标检测技术进行行人计数等。现有的图像处理模型，多为由编码器组成的主干网络以及由解码器组成的下游网络构成。通常，主干网络用于对图像进行特征提取，下游网络则基于主干网络提取到的特征，输出图像处理结果，实现模型的功能。主干网络提取的特征是下游网络实现图像处理模型功能的重要基础。

随着图像处理技术的发展，基于注意力网络的主干网络在图像处理模型中得到了广泛的应用。

在现有技术中，基于注意力网络的主干网络通常是图像金字塔的视觉注意力网络(Pyramid Vision Transformer，PVT)，该网络能够对输入的图像提取到不同尺度的特征图，并对每个尺度的特征图中的特征都计算全局的相关度，以得到各特征对应的注意力权重，存在计算量大且计算效率低的问题。

发明内容

本说明书提供一种图像处理方法及装置，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种图像处理方法，包括：

将目标图像输入编码器，对所述目标图像进行划分确定若干图像块，以及确定所述目标图像对应的特征矩阵；

根据各图像块之间的位置关系，从所述特征矩阵中确定各图像块对应的子特征矩阵，以及对各图像块进行分组，确定由各子特征矩阵组成的各分组特征矩阵；

针对每组图像块，确定该组图像块对应的分组特征矩阵中，各子特征矩阵的组内权重，并根据确定出的组内权重，确定该组图像块的加权特征矩阵；

将各组图像块的加权特征矩阵进行拼接，确定组合加权特征矩阵，并对所述组合加权特征矩阵进行下采样；

根据下采样后的所述组合加权特征矩阵，分别确定各加权特征矩阵的全局权重，并根据确定出的全局权重，确定各加权特征矩阵对应的全局加权特征矩阵；

确定由各全局加权特征矩阵构成的所述目标图像的全局特征，作为所述编码器的编码结果，将所述编码结果输入到解码器中，确定所述目标图像的图像处理结果。

可选地，针对每组图像块，确定该组图像块对应的分组特征矩阵中，各子特征矩阵的组内权重之前，所述方法还包括：

根据所述特征矩阵以及预设的第一参数矩阵，确定所述特征矩阵对应的基础特征矩阵；

其中，所述基础特征矩阵包括查询矩阵、键矩阵以及值矩阵。

可选地，针对每组图像块，确定该组图像块对应的分组特征矩阵中，各子特征矩阵的组内权重，具体包括：

针对每组图像块，从所述基础特征矩阵中，确定该组图像块的分组基础特征矩阵，所述分组基础特征矩阵包括分组查询矩阵、分组键矩阵以及分组值矩阵；