[发明专利]一种对模型进行线性组合的集成学习方法

说明书

本发明涉及一种对模型进行线性组合的集成学习方法，包括有以下步骤：S1.获取所有候选模型对当前数据集的预测结果并保存下来；x表示数据集；S2.初始化权重向量S3.对进行归一化：S4.计算集成模型S5.从数据集中选取若干个数据(x_i,y_i)，然后分别计算各个H(x_i)，其中y_i表示数据x_i的标签；S6.计算各个H(x_i)的损失函数L(H(x_i),y_i)的均值，然后根据计算的均值对权重向量进行后向梯度更新；S7.重复步骤S5～S6直至集成模型收敛。

技术领域

本发明涉及机器学习中的集成学习领域，更具体地，涉及一种对模型进行线性组合的集成学习方法。

背景技术

在一个机器学习的项目中，经常会使用多个模型和超参数对同一个数据集进行学习，获取到多个不同的结果。然后将这些不同的结果整合到一起获得一个性能更优的结果。

上述集成学习方法在具体使用的时候包括有一下几个元素：

数据集：m个数据以及对应的标签(x₁，y₁),(x₂，y₂),...,(x_m，y_m)

算法输入：n个不同的结果h₁(x),h₂(x),...,h_n(x)

算法输出：集成模型H(x)

衡量指标：性能

进行模型整合的时候，现有技术主要通过以下方式进行整合：

1)直接平均法(Averaging)：直接将不同的结果求均值：

2)集成选择法(Ensemble Selection)：集成选择法通过有放回选取多个模型，然后将多个模型的结果取平均得到最后结果。选取的流程如下：

a.从一个空的模型集合S＝{}开始；

b.从候选模型集合选取一个模型加入模型集合，使得模型集合中的性能最好，其中

c.重复b步直到所有模型某个固定步数或者所有模型被选中过；

d.获取集成模型

对二分类0-1的概率输出的结果，常用的整合方法还有以下两种：

3)对数几率回归法(Logistics Regression)：

记所有模型结果为

记模型可学参数为

则集成模型为

根据集成模型的损失函数L(H(x),y)，可学参数和b对损失函数求梯度，进行梯度下降更新。

4)岭回归法(Ridge Regression)：

岭回归是对数几率回归的一个变种，区别在于对可学参数施加了L2正则约束，即新的损失函数为

但是，以上四种方式在具体使用的时候，存在着以下技术缺陷：

1)直接平均法(Averaging)无可学参数，无法根据数据调整优化。

2)集成选择法(Ensemble Selection)在每次更新时都需要遍历所有模型，计算消耗比较大，无法通过梯度更新。