[发明专利]一种基于深度学习的适用于图谱对比场景中等级评定方法

说明书

本发明提供了一种基于深度学习的适用于图谱对比场景中等级评定方法，该等级评定方法采用One‑hot标签软化机制，将原始的等级标签转化为离散概率分布，以建模等级标签的不确定性、歧义性、及其跨等级相关性。结合多任务学习的卷积神经网络框架，最终实现高精度的等级评估。本发明与传统one‑hot标签相比，该机制模拟了人工标注等级时的不确定性，避免失去内在的等级之间的相关性，实现了更好的等级评定准确率。本方法提出了一种基于多任务学习的卷积神经网络框架，通过联合最小化多个损失函数，相比于使用单个任务，收敛更快且取得更优的效果。

技术领域

本发明具体涉及一种基于深度学习的适用于图谱对比场景中等级评定方法。

背景技术

目前，在一些工业检测场景中，如铸件缺陷、晶粒度等，需要根据国家标准或自行定义的标准中的各等级参考图谱对采集到的图像明确其相应的等级。准确地等级评定对保证产品质量，提高利润率具有重要意义。

现有技术中一些基于计算机视觉及深度学习技术的适用于图谱对比场景的等级评估方法：参见公布号：CN111161224A的一篇专利申请，在此方法中，首先基于国家标准铸件缺陷等级参考图谱对采集的铸造缺陷的图片进行人工的等级评定，缺陷图像作为网络输入，等级评定结果作为网络的标签。其次构造带有残差模块及双流通道注意力模块的卷积神经网络模型并进行网络的训练，实现缺陷的等级评价。

相似地，参见公布号：CN109034217A的一篇专利申请，其收集了不同材料及不同金相状态的晶粒度数据库，并根据参考图谱由人工对每张晶粒度金相图片进行等级评定，最后基于深度学习进行训练，从而实现晶粒度等级评定。

上述方法的本质与共同点是将等级评估问题视为图像分类问题，因而存在三个明显的缺点。其一，由于人在图谱对比过程中的主观性，不同的检测专家对同一图像的等级判断往往具有差异，即等级标注具有一定的不确定性；其二，不同等级图像之间的相似程度不同，相邻等级间的图像相似程度更高，图像分类方法会丧失等级间的相关性。其三，在类别数较大时，基于图像分类的算法会间接降低每一类的训练数据量，增大了过拟合的风险。

鉴于上述方法存在的一些弊端，本发明提出了一种适用于图谱对比场景中等级评定的深度学习方法，以实现更高准确率的等级评价。

发明内容

针对现有技术中存在的缺陷，本发明提供了一种基于深度学习的适用于图谱对比场景中等级评定方法，该等级评定方法采用One-hot标签软化机制，将原始的等级标签转化为离散概率分布，以建模等级标签的不确定性、歧义性、及其跨等级相关性。结合多任务学习的卷积神经网络框架，最终实现高精度的等级评估。

基于深度学习的适用于图谱对比场景中等级评定方法具体步骤如下：

(1)构建等级评估数据集：采集需要进行等级评估的待测图像，对每张待测图像I_k进行等级的评定，标注等级值g_k；将所有的图像数据及其对应的标注等级值随机划分为训练集、验证集和测试集，其比例分别为70％，10％和20％；

(2)one-hot标签软化

(3)构造基于多任务学习的卷积神经网络，由特征提取网络，分布投影模块，等级投影模块及多任务损失函数四部分组成；

(4)训练网络：搭建好模型后，使用步骤(1)中的训练集进行训练，每次输入固定数量的图像后，经前向传播获得损失函数值，利用反向传播算法优化模型各个卷积层中参数；重复上述步骤，直至损失函数值不再下降，模型收敛，卷积层中参数值固定；

(5)等级推断：训练完成后，将任意的待测图像输入网络模型中，得到分布投影模块的输出值p_k与等级投影模块的输出值m_k，计算最终的等级值，计算公式如下：