[发明专利]一种引入物体关系的图像分类方法

权利要求书

1.一种引入物体关系的图像分类方法，其特征在于，包括如下步骤：

步骤S1，通过注意力机制构建输入图像上的各个物体间的关系；

步骤S2，基于所构建的各所述物体间的所述关系在所述输入图像上对各所述物体进行分类标注和位置标注；

步骤S3，对所标注的分类特征图和位置特征图进行采样，并将采样得到的特征图作为注意力模型训练样本，训练得到所述注意力模型；

步骤S4，通过所述注意力模型对所述输入图像进行目标分类识别；

步骤S1中，所述注意力机制构建的各所述物体间的所述关系通过以下公式(1)表达：

公式(1)中，用于表示第n个待分类的所述物体在所述输入图像上的视觉特征；

W_v表示一第一线性变换矩阵；

m用于表示所述输入图像上第m个待分类的所述物体；

n用于表示所述输入图像上第n个待分类的所述物体；

公式(1)中的w^mn通过以下公式(2)表达：

公式(2)中，通过以下公式(3)表达：

公式(3)中，W_K和W_Q分别表示第二线性变换矩阵和第三线性变换矩阵；

用于表示第m个待分类的所述物体在所述输入图像上的所述视觉特征；

用于表示对作W_K线性变换；

用于表示对作W_Q线性变换；

用于表示对和作内积运算；

d_k用于表示各所述矩阵的维度；

公式(2)中，通过以下公式(4)表达：

公式(4)中，W_G表示第四线性变换矩阵；

用于表示第m个待分类的所述物体在所述输入图像上的位置特征；

用于表示第n个待分类的所述物体在所述输入图像上的所述位置特征；

ε_G为通过所述注意力机制将所述输入图像上的两个所述物体相对的四维坐标变换到高维空间后得到的一坐标特征；

用于表示对ε_G作W_G线性变换；

公式(2)中，

公式(2)中，

用于表示第k个待分类的所述物体在所述输入图像上的所述视觉特征；

用于表示对作W_K线性变换；

用于表示对作W_Q线性变换；

用于表示对和作内积运算；

k用于表示所述输入图像上的第k个待分类的所述物体。

2.如权利要求1所述的图像分类方法，其特征在于，所述四维坐标表达如下：

x_m和x_n分别表示第m个待分类的所述物体的图像中心点和第n个待分类的所述物体的图像中心点在所述输入图像上的横坐标；

y_m和y_n分别表示第m个待分类的所述物体的图像中心点和第n个待分类的所述物体的图像中心点在所述输入图像上的纵坐标；

w_m表示第m个待分类的所述物体的特征图像的图宽；

h_m表示第m个待分类的所述物体的所述特征图像的图高。