[发明专利]基于训练数据相似度聚合的模型加速训练方法及装置

说明书

基于训练数据相似度聚合的模型加速训练方法及装置，以一份最小化的训练数据作为起始，在每个轮次中应用随机采样和随机增量的方式从当前模型的预测结果中提取预测不佳的数据，并且用聚类提取方式采样额外的训练数据，从而获取最具有代表性的训练信息，提高每个轮次的训练效率。本发明减少每个轮次模型训练的数据集规模，训练时间大幅减少，聚类不需要精确结果，可减少迭代次数或使用更快速简单的聚类方法，总体上每个轮次总训练时间仍比原有全训练集训练减少很多；每个轮次选择的训练数据均有针对性，选用推理错误的图像训练，能够最大程度的获取反向传播梯度，降低训练时陷入局部最优解的概率，便于在训练过程中动态调整，以达到最佳训练结果。

技术领域

本发明涉及图像检测技术领域，具体涉及一种基于训练数据相似度聚合的模型加速训练方法及装置。

背景技术

基于深度学习的图像分类和图像检测技术，是人工智能领域广泛应用的技术，其不同于传统方法，需要对图像进行基于规则的特征提取，进而针对特征向量进行训练。基于深度学习的图像检测技术，能够通过多层卷积神经网络自动提取图像特征，模型接收图像的原始像素矩阵输入，得到端到端的图像识别结果。深度神经网络模型由海量图片训练得到，具有更好的泛化能力，对于图像分类的准确率和抗干扰能力远强于传统方法。

目前，基于深度学习的图像检测技术实现，大致分为如下几个步骤：

(1)准备训练数据(包括训练集和验证集)和数据增量方式；

(2)确定网络模型结构；

(3)训练模型；

(4)评估模型；

(5)部署模型执行计算。

其中训练模型时，需要将训练集数据按批次输入模型，将模型前向计算得到的结果与数据标注进行差异计算得到损失值，并通过反向传播算法得到本次计算损失相对于网络参数的梯度，通过小批量随机梯度下降方法更新参数值，更新后的模型在验证集上对模型预测正确率进行评估。按上述步骤将所有训练数据全部计算完毕为一个轮次，一般需要训练多个轮次，直到验证集正确率达到预设阈值或不再增加。

但是，上述过程为了使模型得到足够的泛化能力，往往需要非常大规模的训练数据(千万级或以上)，每一个轮次要对所有的训练数据进行一次前向计算和反向传播，导致训练时间很长，减慢了开发速度和迭代升级的速度。

另外，为了扩大训练数据规模，一般在准备阶段会使用数据增广技术，对训练图像随机施加变换操作(如高斯滤波、镜像翻转、颜色转换等)，从而从一张原始图像得到多张相似的增广图像，用于提高模型训练后的泛化能力。然而这样的增广操作会使训练数据中增加很多冗余重复的信息，拖慢了模型训练的效率。

综上亟需一种实现深度神经网络模型加速训练技术方案。

发明内容

为此，本发明实施例提供一种基于训练数据相似度聚合的模型加速训练方法及装置，以避免进行全数据集训练为技术思路，尽量在每个轮次中使用当前模型预测不佳的数据作为训练数据，从而获取更大的反向传播梯度，提高每个轮次的训练效率。

为了实现上述目的，本发明的实施方式提供如下技术方案：基于训练数据相似度聚合的模型加速训练方法，包括以下步骤：

步骤一、随机提取全部训练数据中第一预设比例的图像作为本轮训练数据；

步骤二、对所述本轮训练数据采用模型训练算法完成本轮次的训练和验证，更新图像分类模型的参数；

步骤三、采用参数更新后的所述图像分类模型对剩余训练数据中的图像进行前向推理，并提取推理结果中与标注不符的训练数据，当提取的推理结果中与标注不符的训练数据达到预设数量时停止前向推理；