[发明专利]基于深度多流神经网络的图像分类方法及装置

权利要求书

1.一种基于深度多流神经网络的图像分类方法，其特征在于，所述深度多流神经网络包括至少两个网络分支，每个所述网络分支对应一种标签，所述方法包括：

获取特定领域的待分类图像以及所述待分类图像对应的文本数据；

提取所述待分类图像的图像特征；

提取所述待分类图像对应的文本数据的语义特征；

将所述图像特征和所述语义特征，输入所述至少两个网络分支，获得各所述网络分支分别对应的分类阈值；

基于所述分类阈值，确定所述待分类图像的标签。

2.根据权利要求1所述的基于深度多流神经网络的图像分类方法，其特征在于，所述深度多流神经网络还包括：卷积层，所述卷积层包括：第一支路、第二支路和第三支路；

所述提取所述待分类图像的图像特征，包括：

利用所述第一支路，提取所述待分类图像的全局特征；

利用所述第二支路和所述第三支路，提取所述待分类图像的局部特征；

融合所述全局特征和所述局部特征，得到所述待分类图像的图像特征。

3.根据权利要求2所述的基于深度多流神经网络的图像分类方法，其特征在于，所述提取所述待分类图像对应的文本数据的语义特征，包括：

将所述文本数据在预先建立的语义知识库中进行匹配，得到能够匹配成功的数据；

确定所述匹配成功的数据在所述文本数据中的上下文信息；

基于所述匹配成功的数据和所述上下文信息，得到所述文本数据的语义特征。

4.根据权利要求3所述的基于深度多流神经网络的图像分类方法，其特征在于，所述深度多流神经网络还包括：全连接层；

所述将所述图像特征和所述语义特征，输入所述至少两个网络分支，获得各所述网络分支分别对应的分类阈值，包括：

将所述图像特征和所述语义特征，输入所述全连接层，得到所述图像特征和所述语义特征融合后的融合特征；

将所述融合特征输入所述至少两个网络分支，得到所述分类阈值。

5.根据权利要求1-4任一项所述的基于深度多流神经网络的图像分类方法，其特征在于，所述基于所述分类阈值，确定所述待分类图像的标签，包括：

将所述分类阈值大于预设阈值时对应的网络分支的标签，作为所述待分类图像的标签。

6.根据权利要求4所述的基于深度多流神经网络的图像分类方法，其特征在于，所述图像特征为高维图像特征，所述语义特征为离散值；

所述将所述图像特征和所述语义特征，输入所述全连接层，得到所述图像特征和所述语义特征融合后的融合特征，包括：

将所述图像特征和所述语义特征，输入所述全连接层，通过所述全连接层对所述高维图像特征进行降维处理，得到一维图像特征，以及对所述离散值进行编码处理，得到一维语义特征，拼接所述一维图像特征和所述一维语义特征，得到所述融合特征。

7.根据权利要求2所述的基于深度多流神经网络的图像分类方法，其特征在于，所述利用所述第一支路，提取所述待分类图像的全局特征，包括：

利用所述第一支路，依次对所述待分类图像进行第一卷积操作、第一激活操作和第一池化操作，得到所述全局特征；

所述利用所述第二支路和所述第三支路，提取所述待分类图像的局部特征，包括：

利用所述第二支路，依次对所述待分类图像进行第二卷积操作、第二激活操作和第二池化操作，得到第一局部特征；

利用所述第三支路，依次对所述待分类图像进行第三卷积操作和第三激活操作，得到第二局部特征；

所述融合所述全局特征和所述局部特征，得到所述待分类图像的图像特征，包括：

融合所述全局特征、所述第一局部特征和所述第二局部特征，得到所述待分类图像的图像特征。