[发明专利]图片分类方法、装置、电子设备

权利要求书

1.一种图片分类方法，其特征在于，包括：

获取目标图片，以及所述目标图片的标签文本和描述文本；

基于空间注意力机制确定所述目标图片的图片内容的向量表示，以及，分别确定所述标签文本和所述描述文本的向量表示；

基于所述图片内容的向量表示、所述标签文本和所述描述文本的所述向量表示，对所述目标图片进行分类处理。

2.根据权利要求1所述的方法，其特征在于，所述基于空间注意力机制确定所述目标图片的图片内容的向量表示，以及，分别确定所述标签文本和所述描述文本的向量表示的步骤，包括：

将所述目标图片、所述标签文本和所述描述文本，分别输入至预先训练的图片分类模型中相应的编码网络，其中，所述相应的编码网络包括：第一编码网络、第二编码网络和第三编码网络；

通过所述第一编码网络基于空间注意力机制对所述目标图片的图片内容进行特征编码，确定所述目标图片的第一向量表示；通过所述第二编码网络对所述标签文本进行编码映射，确定所述目标图片的第二向量表示；以及，通过所述第三编码网络对所述描述文本进行编码映射，确定所述目标图片的第三向量表示。

3.根据权利要求2所述的方法，其特征在于，所述通过所述第一编码网络基于空间注意力机制对所述目标图片的图片内容进行特征编码，确定所述目标图片的第一向量表示的步骤，包括：

通过所述第一编码网络的卷积网络从输入的所述目标图片的图片内容中提取图像特征；

对提取的所述图像特征进行卷积运算，生成以不同权重关注所述目标图片中不同区域的图片内容的注意力图；

对提取的所述图像特征和所述注意力图进行双线性注意力池化，生成特征向量矩阵，作为所述目标图片的第一向量表示。

4.根据权利要求3所述的方法，其特征在于，所述第三编码网络基于BERT模型网络和循环神经网络进行级联构建，所述通过所述第三编码网络对所述描述文本进行编码映射，确定所述目标图片的第三向量表示的步骤，包括：

通过所述BERT模型网络对所述描述文本的语义信息进行特征提取，得到所述描述文本中各字符的字向量表示；

通过所述循环神经网络根据所述字符之间的关联关系，对所述描述文本中各字符的所述字向量表示进行特征映射，得到所述目标图片的第三向量表示。

5.根据权利要求3所述的方法，其特征在于，所述标签文本选自于所述目标图片所属商家的以下一项或多项标签：类目标签、评分标签、业务线标签，所述通过所述第二编码网络对所述标签文本进行编码映射，确定所述目标图片的第二向量表示的步骤，包括：

通过所述第二编码网络对所述标签文本进行独热编码，并对进行独热编码得到的向量进行特征映射，得到所述目标图片的第二向量表示。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于所述图片内容的向量表示、所述标签文本和所述描述文本的所述向量表示，对所述目标图片进行分类处理的步骤之后，还包括：

根据所述目标图片的分类结果，在相应类别对应的展示区域对所述目标图片进行展示。

7.一种图片分类装置，其特征在于，包括：

图片信息获取模块，用于获取目标图片，以及所述目标图片的标签文本和描述文本；

特征编码模块，用于基于空间注意力机制确定所述目标图片的图片内容的向量表示，以及，分别确定所述标签文本和所述描述文本的向量表示；

分类处理模块，用于基于所述图片内容的向量表示、所述标签文本和所述描述文本的所述向量表示，对所述目标图片进行分类处理。