[发明专利]图像处理方法、装置、电子设备及存储介质

说明书

本公开提供了一种图像处理方法、装置、电子设备及存储介质，涉及计算机视觉技术领域。所述方法包括：获取输入图像的图像向量；从所述图像向量中，获取多个查询矩阵；对所述图像向量进行移动处理，得到按行展开的键值矩阵；根据所述多个查询矩阵和所述键值矩阵，得到每个所述查询矩阵对应的输出矩阵，每个所述查询矩阵对应的输出矩阵包含：所述图像向量对所述查询矩阵的注意力；根据所述多个输出矩阵，输出所述输入图像的图像处理结果。

技术领域

本公开涉及计算机视觉技术领域，特别是涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

自注意力在Vision Transformer模型(视觉转换模型)方面扮演着重要的角色。相关技术主要采用稀疏全局注意或窗口注意来降低Vision Transformer模型的计算复杂度。然而，稀疏全局注意在提取局部特征方面效率低下，窗口注意可能受制于一些人工设置。

相比之下，局部注意将每个查询的感受野限制在自己的相邻像素中，具有卷积和自注意力的优点，即局部归纳偏差和自适应特征提取。然而，当前的局部注意模块要么使用低效的Im2Col(image to column，图像到列)函数，要么依赖于特定的CUDA(ComputeUnified Device Architecture，一种运算平台)内核，因此不适用于没有CUDA支持的设备。

发明内容

鉴于上述问题，本公开实施例提供了一种图像处理方法、装置、电子设备及存储介质，以便克服上述问题或者至少部分地解决上述问题。

本公开实施例的第一方面，提供了一种图像处理方法，应用于图像处理模型，所述方法包括：

获取输入图像的图像向量；

从所述图像向量中，获取多个查询矩阵；

对所述图像向量进行移动处理，得到按行展开的键值矩阵；

根据所述多个查询矩阵和所述键值矩阵，得到每个所述查询矩阵对应的输出矩阵，每个所述查询矩阵对应的输出矩阵包含：所述图像向量对该查询矩阵的自注意力；

根据所述多个输出矩阵，输出所述输入图像的图像处理结果。

可选地，所述对所述图像向量进行移动处理，得到按行展开的键值矩阵，包括：

获取多个配置好的卷积核，所述多个配置好的卷积核表征不同的移动方向；

利用所述多个配置好的卷积核分别对所述图像向量进行深度可分离卷积，得到所述图像向量的多个卷积结果矩阵；

将所述图像向量的多个卷积结果矩阵按行展开，得到所述键值矩阵。

可选地，还包括：

获取多个可学习卷积核，所述多个可学习卷积核与所述多个配置好的卷积核一一对应；

利用所述多个可学习卷积核分别对所述图像向量进行卷积，得到所述图像向量的多个目标卷积结果矩阵；

将所述图像向量的所述多个卷积结果矩阵和所述多个目标卷积结果矩阵对应相加，得到所述图像向量的多个卷积结果之和矩阵；

所述对所述图像向量进行移动处理，得到按行展开的键值矩阵，包括：

将所述图像向量的多个卷积结果之和矩阵按行展开，得到所述键值矩阵。

可选地，所述对所述图像向量进行移动处理，得到按行展开的键值矩阵，包括：

对所述图像向量进行不同方向的移动，得到所述图像向量的多个移动结果矩阵；

将所述多个移动结果矩阵按行展开，得到所述键值矩阵。