[发明专利]图像特征提取方法、设备及可读存储介质

说明书

本申请公开一种图像特征提取方法、设备及可读存储介质，属于图像处理领域。方法包括：获取待提取特征的原始图像，再将原始图像输入至特征提取模型中进行特征提取，输出原始图像的第一图像特征。其中，特征提取模型包括依次连接的多个局部特征提取结构和ViT结构，ViT结构用于根据ViT结构的上一层结构输出的第二图像特征、以及多个局部特征提取结构中目标局部特征提取结构输出的第三图像特征，确定第一图像特征。由于第三图像特征为对像素空间位置信息敏感的局部特征，因此通过ViT结构根据第三图像特征确定的第一图像特征也具有较强的像素空间位置敏感性，如此可以提升ViT结构的可适用性，扩大ViT结构即特征提取模型的应用场景。

技术领域

本申请涉及图像处理领域，特别涉及一种图像特征提取方法、设备及可读存储介质。

背景技术

图像特征提取是一种用一个数学矢量(可以称为图像特征)来表示图像的内容的图像处理方法，其可以将高维的图像信息映射到低维的特征空间，以便于基于得到的图像特征实现各种任务，比如分类任务、目标检测任务等。其中，图像特征包括局部特征和全局特征，局部特征主要是对图像局部的描述，全局特征主要是对图像整体的描述。ViT(VisionTransformer，视觉转换器)结构常用于通过自注意力机制提取图像全局特征。

但是ViT结构在采用自注意力机制提取图像特征时，过于关注图像的全局信息，使得提取的全局特征对像素空间位置信息的敏感性较弱，进而使得ViT结构的可适用性较差，即限制了ViT结构的应用场景。比如，对于目标检测任务，不仅需要确定图像中待识别的目标，还需要确定目标在图像中的像素空间位置，而由于ViT结构提取的全局特征对像素空间位置信息的敏感性较弱，因此基于ViT结构提取的全局特征实现目标检测任务时，确定目标在图像中的像素空间位置的准确度较低，导致目标检测的精度较低。

发明内容

本申请提供了一种图像特征提取方法、设备及可读存储介质，可以解决由于ViT结构提取的全局特征对像素空间位置信息的敏感性较弱，而导致的ViT结构可适用性较差的问题。所述技术方案如下：

提供了一种图像特征提取方法，所述方法包括：

获取待提取特征的原始图像；

将所述原始图像输入至特征提取模型中进行特征提取，输出所述原始图像的第一图像特征；

其中，所述特征提取模型包括依次连接的多个局部特征提取结构和ViT结构；所述ViT结构用于根据第二图像特征与第三图像特征确定所述第一图像特征，所述第二图像特征是所述ViT结构的上一层结构输出的图像特征，所述第三图像特征是所述多个局部特征提取结构中的目标局部特征提取结构输出的图像特征，所述目标局部特征提取结构包括所述多个局部特征提取结构中除所述ViT结构的上一层结构之外的一个或多个，所述第三图像特征为对像素空间位置信息敏感的局部特征

本申请实施例提供的技术方案带来的有益效果是：

本申请实施例中，先获取待提取特征的原始图像，再将原始图像输入至特征提取模型中进行特征提取，输出原始图像的第一图像特征。其中，特征提取模型包括依次连接的多个局部特征提取结构和ViT结构，ViT结构用于根据第二图像特征与第三图像特征确定第一图像特征，第二图像特征是ViT结构的上一层结构输出的图像特征，第三图像特征是多个局部特征提取结构中的目标局部特征提取结构输出的图像特征，目标局部特征提取结构包括多个局部特征提取结构中除ViT结构的上一层结构之外的一个或多个，第三图像特征为对像素空间位置信息敏感的局部特征。由于第三图像特征为对像素空间位置信息敏感的局部特征，因此通过ViT结构根据第三图像特征确定的第一图像特征也具有较强的像素空间位置敏感性，即ViT结构利用对像素空间位置信息敏感的局部特征，来增强高度抽象的全局特征对空间位置的敏感性，如此可以提升ViT结构的可适用性，扩大ViT结构的应用场景，即扩大特征提取模型的应用场景。

附图说明