[发明专利]一种基于深度学习的多特征融合图像分类方法

说明书

本发明公开了一种基于深度学习的多特征融合图像分类方法。具体包括数据集划分、数据增强、分类网络模型构建、模型初始化与模型训练优化。数据增强部分通过对图片随机进行水平翻转、垂直翻转、修改亮度和依概率水平翻转等操作，增强数据特征。在分类网络模型构建的过程中对第一次提取的特征进行随机遮盖后再次提取，而后对两次提取的特征进行融合，使特征多样化，提高了分类精确度。本系统可以用于对眼部恶性肿瘤图像进行分类，定位图像中的病变区域作为特征区域，给出病变类型的概率值，辅助阅片医生判断。

技术领域

本发明属于人工智能领域，具体涉及一种基于深度学习的图像分类方法。

背景技术

随着深度学习的发展，利用神经网络对图片做分类任务的技术已经趋于成熟，传统的神经网络利用卷积神经网络对图片进行特征提取。由于图片中可能存在多种重要的特征，传统的特征提取可能无法精准的提取所有特征，对分类的准确性造成一定的影响。利用注意力机制提取出某些值得注意的特征，并对其中一个特征进行随机遮盖，并将处理后的特征与原图特征进行相加，进行特征相加能够忽视某些特征而重点强调其他更重要的特征，使神经网络的训练能够尽可能的捕捉到更多的特征，而不是可能单一的侧重某些明显的特征。

发明内容

针对现有技术的不足，本发明提出了一种基于深度学习的多特征融合图像分类方法，设计深度学习模型，提取特征后定位图像中的重点特征区域，然后对重点特征区域再次进行特征提取，对两次提取的特征相加后再分类，提高分类准确度。

一种基于深度学习的多特征融合图像分类方法，包括如下步骤：

步骤1、数据集划分；

将采集到的划分为训练集，测试集以及验证集。

步骤2、数据增强；

对训练集、测试集和验证集中的图片进行归一化处理后将图片剪裁至(224，224)；

对训练集中的图片随机进行水平翻转、垂直翻转、修改亮度和依据概率P1对图片进行水平翻转中的一个或几个组合的操作。

作为优选，概率P1＝0.5。

步骤3、构建分类网络模型；

将步骤2处理后的测试集图片输入改进的resnet18网络中，生成特征图A；所述改进的resnet18网络删除了resnet18网络平均池化层之后的部分。再将特征图A输入ARPY网络中，输出重点特征的位置信息x、y和z，其中x和y为重要特征区域的左上角坐标，z为重要特征区域的边长。所述ARPY网络为两个卷积核为3*3的卷积层相连后再连接两个全连接层。将重点特征对应的区域进行剪裁后重设尺寸为224*224，随机遮挡后输入改进的resnet18网络中，得到特征图B。将特征图A和特征图B进行相加操作后再依次经过全连接层FC1、概率为P2的Dropout层、全连接层FC2、BN层、全连接层FC3、relu激活函数层、全连接层FC4和softmax函数，输出特征区域的类别概率值。

作为优选，概率P2＝0.5。

步骤4、初始化分类网络模型；

采用迁移学习方法，使用超大规模视觉图像挑战赛ImageNet中的图片所训练的权重初始化步骤3构建的分类网络模型。

步骤5、优化分类网络模型；

向步骤4初始化后的分类网络模型输入验证集，将输出的分类结果与真实标签进行比较，通过反向传播算法，使用损失函数CrossEntropyLoss()计算损失值，然后使用Adam优化方法循环训练多次直至预定目标，保存此时分类网络模型的参数权重。

作为优选，所述预定目标为验证集的分类准确率达到0.94。

步骤6、获得分类结果