[发明专利]多输出回归网络及学习方法

说明书

本发明提供了用于学习输入‑输出关系的多输出回归网络、一种基于多输出回归网络的学习输入‑输出关系的方法以及计算机可读存储介质。该多输出回归网络包括：多个输入节点，用于接收输入数据(x_i)；多个中间节点，其与所述多个输入节点之间形成非线性网络层，所述非线性网络层通过非线性映射将所述输入数据(x_i)映射到所述多个中间节点，所述多个中间节点对经过非线性映射的输入数据(x_i)施加预定函数；和多个输出节点，其与所述多个中间节点之间形成线性网络层，所述线性网络层通过线性映射将施加了所述预定函数的输入数据(x_i)映射到所述多个输出节点，作为输出数据(y_i)进行输出；其中，所述多输出回归网络通过在给定所述输入数据(x_i)和所述输出数据(y_i)的条件下对所述非线性映射的映射参数(W)和所述线性映射的映射参数(S)进行联合优化，学习所述输入数据(x_i)与所述输出数据(y_i)之间的关系。

技术领域

本发明涉及机器学习领域，尤其涉及一种用于学习输入-输出关系的多输出回归网络，以及一种输入-输出关系学习方法。

背景技术

随着深度学习的爆发，神经网络再次成为人们关注的热点。在机器学习和数据挖掘领域，目前采用核近似方法、多输出回归模型来刻画输入-输出的关系。

核近似方法是在勃赫纳定理基础上寻找一个映射函数，其恰好和一个平移不变的核函数对应。核近似方法的基本原理认为一个正定的、平移不变的核函数是一个分布的傅立叶变换，通过该对傅立叶变换的基函数分解，可以近似将映射函数表示成参数ω上随机采样的D个样本点[ω1,…,ωD]和x内积的余弦表示，其中bi为相位偏移，可以设定为0。具体如下：

但是，在式(1)中，核近似中的参数ωi是和输入数据本身无关的，随机选取而得，因此一般为了达到较好的近似效果，维度D一般选择较大。另外，核近似中的参数ωi是无监督得到的，因此其可区分性不能得到保障。

多输出回归模型需要描述的是输入-输出之间的关系，以及多输出之间的相关性。目前多输出回归模型在刻画输入-输出关系时，主要采用线性回归模型。而对多输出之间内在关系刻画上，主要基于某些先验知识的相关假设的模型。

在线性回归模型中，一般对回归系数加入低秩或者稀疏的限定以获得多输出之间关系。然而，在很多实际应用中，输入一般是底层的特征，而输出一般是具有语义层面的信息，它们之间多是一种复杂的非线性关系，用线性模型刻画输入-输出之间的关系存在局限性。

在基于先验知识的相关假设模型中，一般认为回归系数存在一个低维的流形空间或者共享一个线性子空间。然而，在多数实际应用中，基于先验知识的相关假设模型中，其回归系数存在一个低维的流形空间的假设并不成立，并且在不同应用中，也不能保证可以共享一个线性子空间，这两点大大限制了该方法在实际数据中的应用，这种特殊假设会严重影响系统性能。而且，线性回归模型不能很好地处理输入与输出之间的非线性关系。

发明内容

本发明提供了一种用于学习输入-输出关系的多输出回归网络，以及一种输入-输出关系学习方法。