[发明专利]图像分类方法及装置

权利要求书

1.一种图像分类方法，其特征在于，包括：

通过对图像进行文字识别，得到所述图像中的文字的词向量；以及，对所述图像进行图像特征提取，得到所述图像的图像特征向量；

将所述图像的词向量与所述图像的图像特征向量进行拼接，得到所述图像的联合特征向量；

根据所述图像的联合特征向量对所述图像进行分类；

所述对所述图像进行图像特征提取，得到所述图像的图像特征向量包括：

基于第三卷积神经网络对所述图像进行图像特征提取，得到所述图像的图像特征向量，其中，所述第三卷积神经网络为已完成图像特征提取训练的卷积神经网络。

2.根据权利要求1所述的图像分类方法，其特征在于，所述通过对图像进行文字识别，得到所述图像中的文字的词向量包括：

基于Adaboost算法对所述图像进行各种尺度的窗口扫描得到所述图像的各个文字区域的概率或基于第一卷积神经网络计算出所述图像的各个文字区域的概率，其中，所述第一卷积神经网络为已完成文字概率训练的卷积神经网络；

从所述各个文字区域中，筛选出概率满足概率阈值要求的文字区域；

基于第二卷积神经网络及循环神经网络对筛选出的文字区域进行文字识别，得到所述图像中的文字，其中，所述第二卷积神经网络为已完成文字提取训练的卷积神经网络；

利用word2vec工具将所述图像中的文字转换为词向量，其中，所述word2vec工具为已利用CBOW模型和/或skip-gram模型完成词向量训练的word2vec工具。

3.根据权利要求1所述的图像分类方法，其特征在于，所述图像的词向量与所述图像的图像特征向量均为用数字串来表达的向量；

所述将所述图像的词向量与所述图像的图像特征向量进行拼接，得到所述图像的联合特征向量包括：

将所述词向量与所述图像特征向量的数字串连接，得到用数字串表达的联合特征向量，所述联合特征向量的长度为所述词向量与所述图像特征向量的数字串长度之和；

所述根据所述图像的联合特征向量对所述图像进行分类包括：

将所述用数字串表达的联合特征向量输入softmax分类器，得到所述图像的分类结果，其中，所述softmax分类器为已完成分类训练的分类器。

4.一种图像分类装置，其特征在于，包括：

文字特征提取模块，被配置为通过对图像进行文字识别，得到所述图像中的文字的词向量；

图像特征提取模块，被配置为对所述图像进行图像特征提取，得到所述图像的图像特征向量；

特征拼接模块，被配置为将所述图像的词向量与所述图像的图像特征向量进行拼接，得到所述图像的联合特征向量；

分类模块，被配置为根据所述图像的联合特征向量对所述图像进行分类；

所述图像特征提取模块被配置为基于第三卷积神经网络对所述图像进行图像特征提取，得到所述图像的图像特征向量，其中，所述第三卷积神经网络为已完成图像特征提取训练的卷积神经网络。

5.根据权利要求4所述的图像分类装置，其特征在于，所述文字特征提取模块包括：

文字区域概率计算子模块，被配置为基于Adaboost算法对所述图像进行各种尺度的窗口扫描得到所述图像的各个文字区域的概率或基于第一卷积神经网络计算出所述图像的各个文字区域的概率，其中，所述第一卷积神经网络为已完成文字概率训练的卷积神经网络；

文字区域筛选子模块，被配置为从所述各个文字区域中，筛选出概率满足概率阈值要求的文字区域；

文字识别子模块，被配置为基于第二卷积神经网络及循环神经网络对筛选出的文字区域进行文字识别，得到所述图像中的文字，其中，所述第二卷积神经网络为已完成文字提取训练的卷积神经网络；

向量转换子模块，被配置为利用word2vec工具将所述图像中的文字转换为词向量，其中，所述word2vec工具为已利用CBOW模型和/或skip-gram模型完成词向量训练的word2vec工具。