[发明专利]一种多任务的函数到函数回归方法

说明书

本发明涉及机器学习领域，其公开了一种多任务的函数到函数回归方法，包括以下步骤：S1、构造一个基于基函数双重扩展的函数到函数回归模型，并建立一个从自变量函数到因变量函数的映射的目标函数；S2、进一步构建多任务的函数到函数回归模型的目标函数，通过协同分组挖掘各个任务之间的隐含结构来提升每个回归任务的性能，其中该步骤中的目标函数含有回归系数矩阵；S3、采用不同的稀疏性正则化技术对步骤S2中的回归系数矩阵施加约束；S4、对最终函数回归模型的目标函数非光滑和非独立的问题进行优化；基于结构型稀疏性的多任务函数到函数回归模型的优点是可以同时挖掘任务的相似性和基函数的聚类特征，并用于提升函数回归系统的性能。

技术领域

本发明涉及机器学习领域，特别是涉及一种多任务的函数到函数回归方法。

背景技术

异构机器学习，研究的是如何挖掘多个任务、领域、视图和模态之间的异构数据关联关系，来提升单系统的性能。因为现实数据的来源多种多样，异构性是函数型数据的天然属性。异构机器学习的发展推动了函数型数据分析的快速发展，这里的函数型数据，考虑的是连续的无限维度的数据，而不是离散的有限维度的向量。异构机器学习充分挖掘数据异构性，通过异构数据之间的知识共享或者互补利用，有效地提升机器学习系统的泛化性能。

特征解构是机器学习的关键难题之一。在传统的机器学习领域，研究者已提出了很多成熟的特征分析和特征解构方法，如：非负矩阵分解、主成分分析、奇异值分解、典型相关分析等。但是，在异构机器学习领域目前还缺乏成熟有效的特征解构方法。另一方面，数据分布差异是异构学习(如：迁移学习、多任务学习、终生学习等)的核心研究问题，它是进行知识分享和迁移的主要障碍之一。

函数型数据是定义在一个或多个连续域上(如：时间域、空间域、光谱域和基因位置等)的数据。因为特征空间是无限维度的，所以函数型数据具有更强大的数据表达能力。而机器学习系统中常用的数据(例如:时间序列、图像、音频、视频和文本)，都可以采用这一新的框架进行表示。函数型数据中包含复杂而多样的关联信息，我们将其分为两类，一类是函数性，它是指从单一数据源收集的函数型数据自身包含的特性(如：光滑性、周期性、稀疏性等)；另一类是异构性，它是指从不同数据源收集到的函数型数据之间的关联性(如：领域异构、任务异构等)。

现实世界中，机器学习领域中的很多应用问题，都可以归结为两个函数之间的映射问题。但是目前这方面的研究方法还很少。我们很有必要提供一种基于多任务的函数到函数的回归方法，解决目前研究存在的问题，并助推人工智能的发展。

发明内容

本发明的目的在于克服现有技术中的上述缺陷，提供了一种多任务的函数到函数回归方法，其通过挖掘不同任务之间的相关性来提升每个函数性回归任务的预测性能。

为实现上述目的，本发明提供了一种多任务的函数到函数回归方法，包括以下步骤：

S1、构造一个基于基函数双重扩展的函数到函数回归模型，并建立一个从自变量函数到因变量函数的映射的目标函数；

S2、进一步构建多任务的函数到函数回归模型的目标函数，通过协同分组技术挖掘各个任务之间的隐含结构来提升每个回归任务的性能，其中该步骤中的目标函数含有回归系数矩阵；

S3、采用不同的稀疏性正则化技术对步骤S2中的回归系数矩阵施加约束；

S4、对最终函数回归模型的目标函数非光滑和非独立的问题进行优化处理。

优选的，步骤S1中函数到函数回归模型如下：

其中，x(s)和y(t)分别是自变量函数和因变量函数，ε(t)是误差函数，W是回归系数矩阵，和θ是基函数。

优选的，步骤S1中函数到函数回归模型的目标函数如下：

其中，Ω(W)是正则化项。；