[发明专利]基于特征抽取的多模型训练方法及系统、电子设备和介质

说明书

本公开提供一种基于特征抽取的多模型训练方法及系统、电子设备和介质，涉及云平台、深度学习技术领域。根据本公开一个方面，基于联邦特征抽取的多模型训练方法包括：基于与多个合作方分别共同的用户样本的数据、分别与每一个合作方合作训练树模型；对训练的树模型进行特征重要性评估，以对每一个树模型生成的特征列赋予相应的权重；响应于第一合作方训练线性模型，将与第一合作方共同的第一用户样本的数据输入到与第一合作方相对应的树模型以及与第二合作方相对应的树模型中，以得到多个独热编码的特征列；以及基于权重对所得到的特征列进行筛选，以根据筛选后的特征列和第一用户样本的数据训练与第一合作方相对应的线性模型。

技术领域

本公开涉及云平台、深度学习技术领域，特别涉及基于特征抽取的多模型训练方法及系统、电子设备和介质。

背景技术

近年来，机器学习技术得到飞速的发展，在信息识别、推荐引擎、金融信贷等领域都取得了出色的应用效果，大量实验结果证明机器学习模型有着良好的鲁棒性和泛化性。在通过推荐引擎进行广告业务的投放时，为丰富训练数据的多样性，人们希望能够融合多方企业间的数据进行推荐引擎的训练。但由于各企业间存在业务差异，其数据也体现了不同的业务特性。因此，如何实现相关数据的自动筛选以充分丰富训练数据的多样性成为了技术关键。另外，如今随着国内外数据监管以及公众隐私保护的逐步加强，在数据保密上也阻碍着不少企业之间的数据合作。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

根据本公开的一个方面，提供了一种基于联邦特征抽取的多模型训练方法，包括：训练树模型，该树模型是基于与多个合作方分别共同的用户样本的数据、分别与每一个合作方合作训练出的，其中与每一个合作方的数据传输均以加密的形式进行；对训练的树模型进行特征重要性评估，以对每一个树模型生成的特征列赋予相应的权重；响应于第一合作方训练线性模型，将与第一合作方共同的第一用户样本的数据输入到述第一合作方相对应的树模型以及与第二合作方相对应的树模型中，以得到多个独热编码的特征列，其中第二合作方为多个合作方中除该第一合作方之外的其他一个或多个合作方；以及基于所述权重对所得到的特征列进行筛选，以根据筛选后的特征列和第一用户样本的数据训练与第一合作方相对应的线性模型。

根据本公开的另一个方面，提供了一种基于联邦特征抽取的多模型训练设备，包括：树模型训练单元，配置为训练树模型，该树模型是基于与多个合作方分别共同的用户样本的数据、分别与每一个所述合作方合作训练出的，其中与每一个合作方的数据传输均以加密的形式进行；重要性评估单元，配置为对训练的树模型进行特征重要性评估，以对每一个树模型生成的特征列赋予相应的权重；特征抽取单元，配置为响应于第一合作方训练线性模型，将与第一合作方共同的第一用户样本的数据输入到与第一合作方相对应的树模型以及与第二合作方相对应的树模型中，以得到多个独热编码的特征列，其中第二合作方为多个合作方中除该第一合作方之外的其他一个或多个合作方；以及线性模型训练单元，配置为基于所述权重对所得到的特征列进行筛选，以基于筛选后的特征列以及第一用户样本的数据训练与第一合作方相对应的线性模型。

根据本公开的另一个方面，提供了一种电子设备，包括：处理器；以及存储程序的存储器，该程序包括指令，该指令在由处理器执行时使处理器执行本公开中所述的基于联邦特征抽取的多模型训练方法。

根据本公开的另一个方面，提供了一种存储程序的计算机可读存储介质，该程序包括指令，该指令在由电子设备的处理器执行时，致使电子设备执行本公开中所述的基于联邦特征抽取的多模型训练方法。

根据本公开的一个方面，该基于联邦特征抽取的多模型训练方法，基于联邦学习有效融合了多个合作方的特征数据，并有效实现了交叉特征的筛选。