[发明专利]利用神经网络进行训练和推断的方法及装置

说明书

一种处理器实现的使用神经网络(NN)的方法，包括：接收输入数据；以及基于与所述NN响应于所述输入数据而被激活的状态有关的状态信息，确定从所述输入数据推断的信息，其中，通过使用所述NN的至少一部分对所述输入数据进行编码而生成的嵌入向量包括：被用于以第一准确度重构所述输入数据的第一部分区域和以第二准确度重构所述输入数据的第二部分区域的信息，并且其中，所述第一部分区域是基于经推断的信息和所述嵌入向量中的任一项或两项自适应地确定的。

相关申请的交叉引用

本申请要求2020年10月7日在韩国知识产权局递交的韩国专利申请No.10-2020-0129614的权益，其全部公开内容通过引用合并于此以用于所有目的。

技术领域

以下描述涉及利用神经网络进行训练和推断的方法及装置。

背景技术

基于经过训练的神经网络的方法可以被用在高性能的领域中。然而，当应用基于神经网络的算法时，提高训练的通用性很重要。具体地，针对输入数据或训练数据被过拟合的神经网络模型可能不能学习通用统计结果。因此，被过拟合的神经网络不能基于有限的输入数据来提高训练的通用性。

发明内容

提供了本发明内容以便以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容并非意在标识所请求保护的主题的关键特征或基本特征，也并非意在帮助确定所请求保护的主题的范围。

在一个总体方面，一种处理器实现的使用神经网络(NN)的方法包括：接收输入数据；以及基于与NN响应于输入数据而被激活的状态有关的状态信息，确定从输入数据推断的信息，其中，通过使用NN的至少一部分对输入数据进行编码而生成的嵌入向量包括：被用于以第一准确度重构输入数据的第一部分区域和以第二准确度重构输入数据的第二部分区域的信息，并且其中，第一部分区域是基于经推断的信息和嵌入向量中的任一项或两项自适应地确定的。

确定经推断的信息可以包括以下中的任一项：基于状态信息，确定输入数据中包括的用于每个像素的逐个像素信息；基于状态信息，确定以检测窗口的形式在输入数据中检测到的区域；以及基于状态信息，确定根据输入数据所分类的类别。

输入数据可以包括图像数据和语音数据中的任一项。

输入数据可以是图像数据，并且第一部分区域可以包括图像数据中的与经推断的信息相对应的感兴趣区域(ROI)。

输入数据可以是语音数据，并且第一部分区域可以包括语音数据中的与经推断的信息相对应的感兴趣时间段。

NN可以被配置为：推断逐个像素信息和检测窗口中的任一项，并且第一部分区域可以被自适应地确定为与经推断的信息相对应的部分区域。

NN可以被配置为推断类别，并且第一部分区域可以被自适应地确定为与嵌入向量相对应的部分区域。

第一准确度可以大于第二准确度。

一种非暂时性计算机可读存储介质可以存储指令，该指令在由处理器执行时配置处理器执行方法。

在另一总体方面，一种处理器实现的使用神经网络(NN)的方法包括：接收训练数据和与训练数据相对应的真实标记；通过对训练数据进行编码，提取与训练数据相对应的嵌入向量；通过使用第一解码器对嵌入向量进行解码，生成NN的推断信息；通过使用第二解码器对嵌入向量进行解码，生成训练数据的重构信息；基于推断信息和真实标记之间的差确定第一损失；确定训练数据中与真实标记和嵌入向量中的任一项或两项相对应的第一部分区域；基于训练数据和基于第一部分区域的重构信息之间的差，确定第二损失；以及基于第一损失和第二损失对NN进行训练。

对NN进行训练可以包括：基于第一损失和第二损失对NN进行训练，从而以第一准确度重构第一部分区域并以第二准确度重构训练数据中的第二部分区域。

第一准确度可以大于第二准确度。