[发明专利]基于在线和离线决策集成学习的在线异构迁移学习的方法

说明书

本发明公开了基于在线和离线决策集成学习的在线异构迁移学习的方法。所述方法包括：初始化离线和在线决策模型的相关参数。对于在线每次得到的新目标数据，结合已有的源域数据和关联源域和目标域数据的共现数据，分别计算源域数据和共现数据、目标域数据和共现数据的皮尔森相关系数，以此得到异构的源域数据和目标域数据的相似性；然后对于每次迭代的目标域数据，选取与其最相似的k个源域数据，基于它们构建对目标数据的离线决策模型；而在线模型只用依次得到的目标数据构建简单的线性决策模型。最后对在线和离线模型进行组合，通过预测目标数据计算损失函数更新决策模型，并对每次得到的在线目标数据循环上述做法。本发明能够很好的对动态在线的数据进行预测。

技术领域

本发明涉及机器学习及数据挖掘领域,具体涉及基于在线和离线决策集成学习的在线异构迁移学习的方法

背景技术

随着计算能力、大数据持续快速增长人工智能领域的创新与应用不断涌现，深度神经网络已经在人工智能领域更受到越来越多的关注。而深度神经网络在实际应用中需要大量训练数据，这也是深度神经网络的一大难题。迁移学习希望能够将人类的迁移学习的方式应用到机器学习与数据挖掘的领域中，从而能够从源域的海量数据和分类器中获得知识，提升目标域的分类器的性能。根据源域和目标域特征空间的关系，迁移学习可以分为同构迁移学习和异构迁移学习两大类。源域和目标域的特征空间相同的视为同构迁移学习，反之为异构迁移学习。

异构迁移学习主要研究源域和目标域数据特征空间不同的问题情景。目前的异构迁移学习方法，主要是假设所有目标域的训练样本都被提前给出，而没有有效结合在线方式获取数据，因而对在线异构的迁移学习问题还存在很多研究的方面。本发明将提出利用在线和离线决策集成学习的方法来实现在线异构迁移学习的任务。

发明内容

本发明的目的是提供基于在线和离线决策集成学习的在线异构迁移学习的方法，克服现有技术存在的不足。

本发明的目的可以采取以下技术方案实现。

基于在线和离线决策集成学习的在线异构迁移学习的方法，包括如下步骤：

S1：初始化在线的决策模型、离线的决策模型以及集成学习模型的模型参数；

S2：对在线得到的第i个新目标域数据x_i建立在线和离线的组合决策模型计算预测值

S3：利用计算得到的预测值更新在线目标决策模型h(·)；

S4：更新所述相关参数得到调整后的集成学习模型；

S5：重复步骤S2-S4直到参数收敛，得到训练好的集成学习模型。

集成学习模型最终由在线决策模型h(·)、离线决策模型h^s(·)和组合控制参数θ^s、θ^t组成。后述公式(1)(2)(3)将分别给出在线决策模型、离线决策模型和组合集成学习模型的模型函数。

作为一种具体的实施方案，步骤S1中，所述的初始化数据包括以下步骤：

S11：在线的决策模型h(x)定义为线性分类器：

h(x)＝w^Tx (1)

其中，w在开始学习前需要进行初始化，其初始化参数w₁定义为：

w₁＝0

S12：对集成学习模型(由离线决策模型、在线决策模型和各自的权重参数组合而成)的初始权重进行带约束的随机初始化：