[发明专利]基于深度层级特征融合的中国传统视觉文化符号识别方法

权利要求书

1.基于深度层级特征融合的中国传统视觉文化符号识别方法，其特征在于首先利用深度学习中卷积神经网络来训练分类模型；其次在训练好的模型中提取各层的视觉文化符号特征，并利用Softmax回归来计算每一层的权重，将每一层的特征合并成一个长向量，作为每一类图像的图像特征表示；再将提取后的特征经过PCA降维并归一化后送入到浅层学习SVM中进行分类；最后再利用集成学习的思想，将深度学习的识别结果和深浅结合的识别结果利用回归树结合，得到最终的分类结果；具体包括如下步骤：

步骤1：系统首先获取中国传统视觉文化符号数据，将获取到的数据转化成lmdb数据格式，再送入已经准备好的卷积神经网络中进行训练和测试，利用深度学习来训练模型并测试，此时得到识别结果A；

步骤2：将训练好的模型保存为***.caffemodel的形式，之后再从已经训练好的模型中提取每一层的特征，共有5个卷积层，3个全连层，进行特征提取；

步骤3：将步骤2中提取到每层的特征，利用空间金字塔的思想赋予相应的权重；每层权重通过Softmax回归求得；然后将每一层的特征串行合并成一个长向量；

步骤4：将步骤3中得到的长向量通过PCA降维并归一化；

步骤5：将降维后的特征送入到SVM中进行训练模型和测试，此时得到识别结果B；

步骤6：将步骤1和步骤5中得到的识别结果A和B利用集成学习的思想，使用回归树将两者结合，得到最后的识别结果；

步骤1利用深度学习来训练模型并测试如下所述：

步骤11：首先对中国传统文化符号的原始数据进行清洗并扩充，并统一成256*256的尺寸，随机抽取4/5作为训练集，其余为测试集，再转化成lmdb格式；

步骤12：将步骤11中lmdb格式的数据送入到Alexnet网络中，利用Fine-tuning对已经用大量数据(如Imagenet)训练好的模型进行微调，即修改网络文件中的最后一层的层名称以及根据分类需求更改输出节点值；训练过程中根据训练输出日志中的损失值和准确度值，来调整网络参数，以得到更好的训练模型；

步骤13：再利用步骤12中训练好的模型对待测数据进行测试，得到识别结果A；

步骤2特征提取过程如下所述：

步骤21：利用步骤1中训练好的模型，以及对应的Alexnet网络层文件提取每一层的特征；

步骤22：Alexnet网络共包含5个卷积层和3个全连层，最后一层是输出层，所以只提取前7层的特征；其中5个卷积层输出的是一系列的二维特征图谱，fc6和fc7输出的是4096维的向量；分别将训练集和测试集在网络中每一层的特征提取出来，其中前5层从每层的一系列特征图谱中取最大值作为该层的特征；

步骤3每层特征的权重系数求法如下：

步骤31：利用逻辑回归求出权重系数，由于是监督学习，已知标签(label)，和输入特征，可根据公式2、公式3，可以求出相应的权重系数；

公式2：

损失函数：

公式3：

其中，e是自然底数，i是样本编号，j是类别编号，k为类别数，m是已标记的训练样本：{(x⁽¹⁾，y⁽¹⁾，...，(x^(m)，y^(m))}，其中x⁽ⁱ⁾是输入特征，类标记y⁽ⁱ⁾∈{1，2，...，k}，p(yⁱ)表示第i个样本分别取不同的类别1,……，k时的概率值，θ为模型参数(也即α，β，γ)；

步骤32：将各层的特征串行合并成长向量作为特征表达；

步骤4将特征降维以及归一化步骤如下：

步骤41：将步骤32得到的特征长向量利用主成分分析方法PCA进行降维，将训练集特征降维过程中的特征值矩阵保存下来，然后将测试集特征在该特征值矩阵上做投影，完成训练集和测试集特征的降维；所降维数根据贡献率和识别率综合确定，根据贡献率来定位所降维数的大致范围，最后根据识别率确定范围中最合适的维数；

步骤42：将降维后的特征利用min-max归一化方法进行归一化，得到最后的特征表达；

步骤5训练模型和测试按如下过程进行：

步骤51：将步骤42得到的特征送入支持向量机SVM中进行训练，使用的核函数是直方图交叉核函数，见公式5，得到用于识别的模型，完成训练；

公式5：

其中，M是特征向量的维度，i是第i张图像，x^(k)是特征向量在k维度下对应的特征值,是第i张图片在k维下的特征值；

步骤52：最后将步骤51得到的模型和待测数据送入到SVM中完成最后的识别，得到识别结果B；

步骤6识别结果A和B结合按如下过程进行：

步骤61：因为深度学习与浅层学习中的SVM都是输出划为某一类的概率，把这些概率当成回归树特征，原始图片类别当成回归树的标签(label)，训练一个回归树模型，再用测试集测试，得到最终结果。