[发明专利]使用相异训练源训练分类模型及应用其的推论引擎

说明书

本发明提出一种使用一训练数据集产生一分类模型的方法。一迭代程序，用以训练一ANN模型，其中一迭代包括从一训练数据源中选择训练数据的一小样本，使用该样本训练该模型，对训练数据的一大样本使用该模型进行推论，并检查推论结果。评估该结果以决定该模型是否满足一条件，若该模型不符合指定的标准，则重复迭代程序中的采样、训练、推论和检查结果的循环(STIR循环)，直到满足标准为止。提供如本文所述的方法所训练的一分类引擎。

技术领域

本发明是有关于训练包括神经网络的分类引擎，且特别是有关于一种应用于具有多个对象类别且分布不均匀的训练数据。

背景技术

本部分讨论的主题不应仅由于在本部分中被提及而被认为是现有技术。类似地，本部分中提到的问题或与主题有关并提供作为技术背景的问题不应被认为是现有技术中提到的。本部分中的主题仅表示不同的方法，其本身也可以对应于实现所要求保护的技术。

深度神经网络是一种人工神经网络(ANN)，其使用多个非线性和复杂的转换层依次对高阶特征进行建模。深度神经网络通过后向传播提供反馈，其携带观察的和预测的输出之间的差异，以调整参数。随着大量训练数据集的可用性、平行和分布式计算的功能以及复杂的训练算法，深度神经网络已快速发展。深度神经网络促进了许多领域的重大进步，例如计算器视觉、语音识别和自然语言处理。

卷积神经网络(CNN)和递归神经网络(RNN)可以配置为深度神经网络。卷积神经网络通过包含卷积层、非线性层和池化层的架构，在影像辨识方面的应用很成功。递归神经网络被设计为通过在感知器、长短期记忆单元和门循环单元等区块之间建立循环连接来使用输入数据的顺序信息。此外，针对有限的背景信息还提出了许多其他新兴的深度神经网络，例如深度时空神经网络、多维递归神经网络和卷积自动编码器。

训练深度神经网络的目标是优化每一层的权重参数，其逐步将较简单的特征组合为复杂的特征，以便可以从数据中学习最合适的层次表示。优化程序的单一循环如下。首先，给定一训练数据集，通过前向传递依序计算每个层中的输出，并通过网络向前传播函数信号。在最终输出层中，目标损失函数测量推论的输出与给定标签之间的误差。为了使训练误差最小化，通过后向传递使用炼式规则后向传播误差信号，并计算整个神经网络中所有权重的梯度。最后，使用基于随机梯度下降的优化算法更新权重参数。批次梯度下降对每个完整数据集执行参数更新，而随机梯度下降可通过为每个小型数据集执行更新来提供随机近似值。目前有多种优化算法是根据随机梯度下降法所发展出来的。例如，Adagrad和Adam训练算法执行随机梯度下降，同时基于对每个参数分别进行更新频率和梯度矩，来适时地修改学习速率。

在机器学习中，包括ANN的分类引擎是使用根据要被分类引擎识别的多个类别所标记的对象的数据库来训练。在某些数据库中，要识别的不同的每个类别中的对象数量可能有很大的差异。对象在类别中的不均匀分布可能会导致学习算法失衡，从而导致某些类别的对象识别的性能下降。解决此问题的一种方法是使用越来越大的训练集，以使失衡趋于平稳，或者包括足够数量的稀有类别的对象。这将导致这些庞大的训练集需要大量的计算资源才能应用于分类引擎的训练。

因此需要提供一种技术，使用大小合理的标记对象的数据库来改善分类引擎的训练。

发明内容

本发明是有关于一种计算器实现的方法，该方法改善了用于训练包括人工神经网络的分类引擎的计算器实现技术。

根据本发明的一实施例，提出一种采用本文所述的技术，以通过在制造过程中检测并分类集成电路组件中的缺陷来改善集成电路的制造。