[发明专利]学习方法、计算机可读记录介质和学习装置

说明书

提供了学习方法、计算机可读记录介质和学习装置。学习装置对学习模型的至少一个参数进行学习，使得每个中间特征量变得与参考特征量相似，每个中间特征量是作为将多个扩充训练数据集输入至学习模型中的第一神经网络的结果而计算的，多个扩充训练数据是通过基于相同的第一原始训练数据执行数据扩充而生成的。学习装置使用不同于第一原始训练数据的第二原始训练数据并且使用参考特征量来学习学习模型中的第二网络的至少一个参数。

技术领域

本文讨论的实施方式涉及学习方法。

背景技术

在学习深度学习模型的情况下，训练数据(学习数据)的量是显著地有助于性能的因素，因此期望具有尽可能大的训练数据量。如果训练数据变得不足，并且如果将训练数据中不可用的类型的应用数据应用于使用训练数据所学习的深度学习模型，则很可能不能获取适当的输出结果，并且学习以失败结束。

在使用用户数据的业务状况下，鉴于存在泄露合同协议或信息的风险，难以永久保存特定的用户数据或将其在其他用户任务中共享。因此，存在训练数据变得不足的情况。

当训练数据变得不足时，惯常的做法是执行数据扩充。数据扩充包括诸如噪声添加、平行移动和数据缺失的处理；并且训练数据的范围可以被扩展到应用数据的范围。

已知以下常规技术，其中保存作为将原始训练数据输入至深度学习模型的结果而获取的中间特征量，从而在重新学习深度学习模型时可用的数据量增加，而不必保存原始的训练数据。

图18是用于说明常规技术的图。参照图18，深度学习模型10包括第一神经网络(NN)10a和第二神经网络(NN)10b。在将训练数据输入至第一NN 10a时，第一NN 10a计算中间特征量。在将中间特征量输入至第二NN 10b时，第二NN 10b计算输出标签。假设已经使用数据库10P中存储的用户P的多个训练数据集学习了第一NN 10a和第二NN 10b的参数。当学习结束时，将数据库10P中的信息返回给用户P(或销毁)。

例如，在将训练数据xP1输入至第一NN 10a时，计算中间特征量zP1。在将中间特征量zP1输入至第二NN 10b时，计算输出标签yP1'。在常规技术中，在返回数据库10P中的信息之前，根据训练数据xP1计算的中间特征量zP1被存储在数据库13中。此外，在常规技术中，根据存储在数据库10P中的其他训练数据集计算的中间特征量也被存储在数据库13中。

随后，在常规技术中，使用其中存储有用户Q的多个训练数据集的数据库11Q并使用数据库13来学习(顺次地学习)新的深度学习模型11。深度学习模型11包括第一NN 11a和第二NN 11b。在常规技术中，将第一NN 10a中已学习的参数设置为第一NN 11a的参数。类似地，将第二NN 10b中已学习的参数设置为第二NN 11b的参数。

例如，在将数据库11Q中的训练数据xQ1输入至第一NN 11a时，计算中间特征量zQ1。在将中间特征量zQ1输入至第二NN 11b时，计算输出标签yQ1'。在常规技术中，学习第二NN 11b的参数以确保输出标签yQ1'逼近正确标签(未示出)。

此外，在将中间特征量zP1从数据库13输入至第二NN 11b时，计算输出标签yP1'。在常规技术中，学习第二NN 11b的参数以确保输出标签yP1'逼近正确标签(未示出)。

如上所述，在常规技术中，在学习第二NN 11b的参数的情况下，使用根据数据库11Q中所存储的训练数据计算的中间特征量并且使用在数据库13中存储的中间特征量来执行所述学习。因此，即使数据库10P被返回给用户P(或被销毁)，也有可能在学习新的深度学习模型时增加可用的数据量。

[非专利文献1]Utako Yamamoto等人，“Deformation estimation of an elasticobject by partial observation using a neural network”。