[发明专利]特征图处理方法以及数据处理装置

说明书

本申请实施例公开了人工智能(artificial intelligence，AI)领域的一种特征图处理方法以及数据处理装置，该方法可以应用于神经网络中需要对特征图进行丢弃处理的场合。其中，数据处理装置获取需要进行丢弃处理的第一特征图，根据该第一特征图确定指示各个元素之间的相关程度的自相关性信息，根据该自相关性信息确定该第一特征图的丢弃输出。该方法根据该第一特征图中各个元素之间的相关程度确定如何丢弃第一特征图中的元素。相比于传统技术中设置固定概率进行丢弃处理，本申请实施例能够有针对性地丢弃第一特征图中的部分元素，在提升模型泛化性能的同时，能够使得丢弃输出保留更多有利于模型训练的特征，而不是完全随机无规律地丢弃第一特征图中的元素。

技术领域

本申请实施例涉及人工智能领域，尤其涉及一种特征图处理方法以及数据处理装置。

背景技术

在基于神经网络的模型训练过程中，常造成过拟合，即为了得到一致假设而使假设变得过度严格。当训练出的网络模型出现过拟合时，虽然该网络模型在训练集上表现非常优秀，但是在新的测试集上却不具泛化性。因此，在实际应用中需要正则化方法对网络模型进行处理，以降低模型过拟合的几率。而神经元丢弃技术是降低模型过拟合的正则化技术之一。

在传统的神经元丢弃技术中，常采用人工设置丢弃概率的方式。在模型训练的过程中，按照前述丢弃概率随机设置神经网络中的部分神经元失活，或者，按照前述丢弃概率随机将部分神经元的训练输出置零，而降低模型过拟合的概率。

但是，由于前述丢弃概率为人工设置的，当前述丢弃概率设置不当时，容易使得在丢弃运算过程中对输入的数据丢弃不足或丢弃过多，而使得本次丢弃运算不能达到预期的效果。因此，目前急需一种能够合理地降低模型过拟合几率的丢弃处理方法。

发明内容

本申请实施例提供了一种特征图处理方法以及数据处理装置，用于针对特征图的属性进行丢弃处理，以更合理地降低模型过拟合的几率，提升模型泛化性能。

第一方面，提供了一种特征图处理方法，该特征图处理方法可以应用于神经网络中需要对特征图进行丢弃处理的场合。在该特征图处理方法中，数据处理装置将先获取需要进行丢弃运算的第一特征图，该第一特征图可以是初始矩阵(例如，由第一图像数据确定的矩阵，或由第一音频数据确定的矩阵)，也可以是经卷积层或池化层处理之后的特征图。该第一特征图包括多个元素，该第一特征图能够反映前述多个元素的分布特征。然后，该数据处理装置根据该第一特征图确定自相关性信息。其中，该自相关性信息用于指示各个该元素之间的相关程度。然后，该数据处理装置根据该自相关性信息确定该第一特征图的丢弃输出。也就是说，该数据处理装置根据该第一特征图中各个元素之间的相关程度确定如何丢弃第一特征图中的元素。

其中，丢弃输出指从该第一特征图中丢弃部分特征(即第一特征图中的一个或多个元素)之后该第一特征图剩下的部分。此外，本实施例中的丢弃指将特征图中的某个元素的取值由非零数值修改为0，或者，将特征图中的某个元素的取值修改为一个非零数值。

本实施例中，数据处理装置基于第一特征图确定的相关性对该第一特征图执行丢弃操作，也就是说，本实施例中的丢弃操作考虑了第一特征图中各个元素的相关程度而非完全无规律的丢弃。由于，丢弃第一特征图中的部分元素能够降低模型过拟合的概率，而按照第一特征图的自相关性信息对第一特征图执行丢弃操作能够在降低模型过拟合的基础上，使得丢弃操作更加合理，使得丢弃输出有更大的几率能够达到预期的效果。相比于传统技术中设置固定概率对神经元进行丢弃处理，本实施例提供的方案根据了数据对应的特征图自身的属性来进行丢弃，能够有针对性地丢弃第一特征图(可以理解为一个神经元对输入数据处理后的输出)中的部分元素，对不同数据来源的第一特征图能结合各数据对应的第一特征图的自身特性进行自适应的丢弃，在提升神经网络模型泛化性能的同时，能够使得丢弃输出保留更多有利于模型训练的特征，而不是完全随机无规律地丢弃第一特征图中的元素。