[发明专利]图像分类方法、装置、电子设备、计算机可读介质

权利要求书

1.一种图像分类的方法，包括：

将待分类图像输入预先训练的目标检测网络，获取所述待分类图像中的至少一个候选区域；

将所述候选区域对应的候选区域图像输入预先训练的图像特征提取网络获取所述候选区域对应的图像特征；

将所述待分类图像输入预先训练的文字识别网络，获取所述待分类图像中的文字对应的文字特征；

将所述图像特征和所述文字特征进行拼接获取拼接特征，并将所述拼接特征输入预先训练的分类网络，获取所述待分类图像对应的分类结果。

2.根据权利要求1所述的方法，其中，所述将所述图像特征和所述文字特征进行拼接获取拼接特征包括：

按照图像特征、文字特征的顺序将所述图像特征和所述文字特征进行拼接，获取所述拼接特征。

3.根据权利要求2所述的方法，其中，所述将所述图像特征和所述文字特征进行拼接获取拼接特征之前，还包括：

在所述图像特征的维度小于所述文字特征的维度的情况下，对所述图像特征进行补零填充，使所述图像特征的维度与所述文字特征的维度相同；

在所述图像特征的维度大于所述文字特征的维度的情况下，对所述文字特征进行补零填充，使所述文字特征的维度与所述图像特征的维度相同。

4.根据权利要求2所述的方法，其中，所述将待分类图像输入预先训练的目标检测网络，获取所述待分类图像中的至少一个候选区域包括：

将所述待分类图像输入预先训练的目标检测网络，获取所述目标检测网络输出的多个输出候选区域以及所述输出候选区域对应的置信度；

根据所述输出候选区域对应的置信度从所有所述输出候选区域中选择预设数量的输出候选区域确定为候选区域。

5.根据权利要求4所述的方法，其中，所述按照图像特征、文字特征的顺序将所述图像特征和所述文字特征拼接进行拼接，获取所述拼接特征包括：

将所述拼接特征的前N维特征确定为所述候选区域对应的图像特征；N为所述候选区域的预设数量；

按照所述文字特征对应的置信度对所述文字特征进行拼接；

在所述文字特征的数量和所述图像特征的数量之和小于所述拼接特征的预设维度的情况下，对所述拼接特征进行补零，使所述拼接特征的维度为预设维度；

在所述文字特征的数量和所述图像特征的数量之和大于所述拼接特征的预设维度的情况下，按照所述文字特征对应的置信度，将所述文字特征进行丢弃，使所述拼接特征的维度为预设维度；

其中，所述文字特征对应的置信度为所述文字识别网络输出的所述文字特征对应的文字的置信度。

6.根据权利要求1所述的方法，其中，所述将所述待分类图像输入预先训练的文字识别网络，获取所述待分类图像中的文字对应的文字特征包括：

将所述待分类图像输入预先训练的文字识别网络，获取所述文字识别网络输出的文字；

将所述文字进行编码，获取所述文字对应的文字特征。

7.根据权利要求1所述的方法，其中，所述分类网络为预训练模型BERT。

8.根据权利要求1所述的方法，其中，所述图像特征提取网络为基于对比文本-图像对的预训练模型CLIP的图像编码器。

9.根据权利要求1所述的方法，其中，所述目标检测网络为快速区域卷积神经网络Faster-RCNN；所述目标检测网络的训练集包括文字识别数据集。

10.根据权利要求1所述的方法，其中，所述待分类图像为漫画图像。