[发明专利]基于元学习及知识记忆的目标检测模型构建方法及系统

说明书

本发明实施例涉及工业场景视觉检测技术领域，公开了一种基于元学习及知识记忆的目标检测模型构建方法及系统。该方法包括：利用开源数据集对目标检测模型进行训练得到预训练模型；利用预训练模型统计开源数据集中每个类别的特征，并构建开源特征记忆库Bp；利用检测目标的训练集微调预训练模型；利用调整后的所述预训练模型从所述检测目标的训练集中抽取每个类别的特征，并从开源特征记忆库Bp中筛选出与每个类别匹配的记忆单元，存入新的特征记忆库；将开源特征记忆库加入目标检测模型后进行训练；通过相似度误差和预测误差对目标检测模型动态更新。本发明将先验知识动态迁移至算法模型对目标样本的学习过程中，提升对长尾样本的学习能力和识别精度。

技术领域

本发明涉及工业场景视觉检测技术应用技术领域，特别涉及一种基于元学习及知识记忆的目标检测模型构建方法及系统。

背景技术

随着计算机视觉算法以及深度学习的知识体系趋于成熟，基于深度学习的目标检测应用已大量应用于智能工业场景，比如缺陷识别，原件分拣，流水线生产实时监控等。然而在真实的工作场景中，由于目标数量不均和样本采集难度不同，实际采集到的数据集通常是不均衡的。利用不均衡样本训练的目标检测模型识别能力大幅度下降，在工作中经常出现误检，错检和漏检等问题。

工业应用中普遍使用的数据平衡方法包括图像增强算法以及人工采集方法。这类方法带来三个问题：首先，人工丰富过程繁琐复杂并且样本重复率高，降低工作效率；其次，这类方法虽然平衡了类间样本量，但是没有显著丰富尾类特征。导致模型对小样本过拟合学习，模型的泛化能力差。最后，人工丰富样本无法提升算法识别能力上限，难以突破实际应用瓶颈。

针对不均衡样本的视觉识别问题主要包涵重加权和重采样两种算法，目前衍生出四种主要方法。第一种是使用类别均衡损失自适应函数，让模型在训练时更关注尾类，但这种算法无法提升对所有类别的整体识别能力，难以提升算法识别能力上限。其次，基于重采样方法旨在调整头尾类别的采样率平衡输入样本，但这种方法不可避免地带来头类样本欠学习，尾类样本过拟合等问题。再次，基于课程学习和集成学习等方法证明了分段式学习策略能有效提升模型对所有类别的识别精度。但其网络架构和训练过程复杂，无法灵活落地实现。最后，基于迁移学习及元学习的方法利用大样本泛化小样本特征，从而提高模型对小样本的学习速度和学习能力。相比之下，基于迁移学习的解决方法更加灵活，适合需求简单但环境复杂的工业视觉任务。

在工业视觉目标检测领域，迁移学习的主要应用方式仍停留于调优训练大样本预训练模型，对于如何利用外部开源数据，如何筛选可迁移特征，如何实现知识的动态迁移过程等方面暂未提出具体有效的实施方案。

发明内容

本发明实施例的目的在于提供一种基于元学习及知识记忆的目标检测模型构建方法及系统，可提升模型在面对不均衡样本时对所有目标的检测和识别能力，以及模型在多个场景的泛化能力。

为解决上述技术问题，第一方面，本发明实施例提供了一种基于元学习及知识记忆的目标检测模型构建方法，包括：

获取检测目标的训练集、检测目标的测试集以及外部开源数据集；

利用所述开源数据集对选取的目标检测模型进行训练得到预训练模型；所述训练模型包含预训练骨干网络以及预测网络；

利用所述预训练模型统计所述开源数据集中每个类别的特征，并构建开源特征记忆库Bp；所述Bp包含每个类别的卷积层特征、池化层特征以及对应的类别标签形成的记忆单元；

利用所述检测目标的训练集微调所述预训练模型；微调过程中固定所述预训练骨干网络的浅层卷积层，降低所述预训练骨干网络中其余卷积层的学习率，重新训练所述目标检测网络中的预测网络；

利用调整后的所述预训练模型从所述检测目标的训练集中抽取每个类别的特征，并从所述开源特征记忆库Bp中筛选出与每个类别匹配的记忆单元，存入新的特征记忆库；