[发明专利]基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置及介质

权利要求书

1.一种基于正常样本辅助特征提取的注塑件瑕疵检测方法，其特征在于，所述方法包括：

获取训练数据集，所述训练数据集包括正常样本数据集和瑕疵样本数据集；

构建网络模型，所述网络模型包括瑕疵样本特征提取子网络、正常样本特征提取子网络、特征金字塔子网络、区域生成子网络和瑕疵分类子网络；其中，利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征；利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征；利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图；利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合；利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果；

根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型；

将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类。

2.根据权利要求1所述的注塑件瑕疵检测方法，其特征在于，所述瑕疵样本特征包括四个不同尺寸的特征图，分别为所述瑕疵样本特征提取子网络中第二个特征提取层到第五个特征提取层输出的特征图；

所述正常样本特征包括所述正常样本特征提取子网络中第四个特征提取层与第五个特征提取层输出的特征图f₄′、f₅′；

所述利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图，包括：

将所述瑕疵样本特征提取子网络中第四、五个特征提取层输出的特征图f₄、f₅，分别与所述特征图f₄′、f₅′按元素相减，得到差异特征图f₄″、f₅″；

将所述瑕疵特征提取子网络中第二、三特征提取层输出的特征图f₂、f₃与所述差异特征f₄″、f₅″输入所述特征金字塔子网络，所述特征金字塔子网络对f₂、f₃、f₄″、f₅″进行特征融合，输出多张不同尺度的特征图，作为融合特征图；其中，所述特征金字塔子网络包括多个上采样操作层。

3.根据权利要求1所述的注塑件瑕疵检测方法，其特征在于，所述区域生成子网络包括预处理层、先验框二分类层以及先验框位置调整层；

所述利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合，包括：

将所述融合特征图依次输入所述预处理层，所述预处理层根据所述融合特征图的尺寸相应地生成不同尺寸的先验框，用于粗略检测瑕疵目标的位置；其中，所述融合特征图包括多张特征图；

将所述先验框输入所述先验框二分类层，生成先验框的置信度；

将所述先验框输入所述先验框位置调整层，生成先验框的偏移量；

根据所述置信度，挑选出置信度较高的先验框；根据所述偏移量对置信度较高的先验框进行位置偏差调整，输出瑕疵目标候选框集合。

4.根据权利要求3所述的注塑件瑕疵检测方法，其特征在于，所述瑕疵分类子网络包括瑕疵特征处理模块、瑕疵分类模块和候选框调整模块；

所述利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果，包括：

将所述瑕疵目标候选框集合中任一瑕疵目标候选框对应到所述特征金字塔子网络输出的融合特征图上，将对应的融合特征图和所述瑕疵目标候选框经过ROI Pooling操作后，得到瑕疵特征图；将所述瑕疵特征图输入所述瑕疵特征处理模块；

将所述瑕疵特征处理模块的输出特征输入所述瑕疵分类模块，用于对所述瑕疵目标候选框进行分类，得到瑕疵的类别；

将所述瑕疵特征处理模块的输出特征输入所述候选框调整模块，生成瑕疵目标候选框的偏移量，用于对所述瑕疵目标候选框的位置进行调整，得到优化后的瑕疵位置。