[发明专利]学习装置、信号处理装置以及学习方法

说明书

学习数据处理部(5)输入与多个任务分别对应的多个学习数据，按照每个任务计算出使得学习数据的数据尺寸除以批尺寸而得到的值在任务之间相同的批尺寸。批采样部(6)以由学习数据处理部(5)计算出的批尺寸，从每个任务的学习数据中对样本进行采样。学习部(7)使用由批采样部(6)采样出的样本，按照每个任务更新识别器(4)的权重。

技术领域

本发明涉及使用一个神经网络来学习不同种类的多个任务的学习装置、具有该学习装置的信号处理装置以及学习方法。

背景技术

随着计算机计算速度的提高，能够进行使用神经网络的各种信息处理。神经网络是层级地配置感知器而成的计算模型。在感知器中，计算输入信号的加权和，对该加权和实施被称作激活函数的非线性函数的运算并进行输出。即，当设输入信号为X＝(x₁，x₂，…，x_n)，设权重为W＝(w₁，w₂，…，w_n)，设激活函数为f(·)时，感知器的输出out可以用out＝f(X*W)表示。另外，*是向量的要素积。

此外，在专利文献1中，记载有使用卷积神经网络的分类器系统。卷积神经网络中的感知器将图像等二维信号作为输入信号，在激活函数中使用S形函数或ReLU函数。作为上述分类器系统具有的神经网络分类器的学习方法，采用概率梯度下降法。概率梯度下降法是如下的学习方法：不在学习数据整体中进行基于误差逆传播的权重更新，而是从学习数据中以部分批的方式提取样本，使用提取出的样本进行权重更新，以学习循环的反复次数反复进行该操作。

近年来，还提出用一个神经网络学习不同种类的多个任务的所谓多任务学习的框架。在此应特别指出的是，即使回归或者分类这样的任务的种类不同，学习也能够顺利进行。

例如，在非专利文献1中，记载有与基于多任务学习的脸部识别相关的技术。在该技术中，通过组合表情识别、脸部朝向估计等分类任务和脸部的特征点检测等回归任务进行学习，从而提高识别精度。

现有技术文献

专利文献

专利文献1：日本特开2014-49118号公报

非专利文献

非专利文献1：Z.Zhang,P.Luo,C.C.Loy,and X.Tang,“Facial landmarkdetection by deep multi-task learning”,in European Conference on ComputerVision,2014,pp.94-108.

发明内容

发明要解决的课题

在基于概率梯度下降法的现有的多任务学习中，以学习数据中的各个样本具有与作为学习对象的多个任务相关的标签为前提。另外，学习数据是由多个样本构成的数据集。样本是组合使识别器学习的数据及其正解数据即标签而成的数据。

此外，基于概率梯度下降法的现有的多任务学习利用多个学习数据决定相同值的批尺寸，设学习数据的数据尺寸除以该批尺寸而得到的值为学习循环的反复次数。

根据上述前提，学习数据彼此是相同的数据尺寸，因此，如果在多个任务中决定一个批尺寸，则能够利用相同的批尺寸反复进行每个任务的采样。

但是，实际上，有时学习数据包含不具有与作为学习对象的多个任务相关的标签的样本。

例如，在组合不同任务的学习数据进行学习的情况下，或者在收集到与单独的任务对应的学习数据后追加与其他任务对应的学习数据的情况下，样本不具有与对应任务以外的任务相关的标签。

这样，在样本不具有与作为学习对象的全部任务相关的标签的情况下，学习数据的数据尺寸按照每个任务而不同。