[发明专利]深度学习模型的训练方法、预测方法和装置有效
| 申请号： | 201910983661.3 | 申请日： | 2019-10-16 |
| 公开（公告）号： | CN110782008B | 公开（公告）日： | 2022-05-13 |
| 发明（设计）人： | 苏萌;王然;刘译璟;孙伟;刘钰;苏海波;高体伟 | 申请（专利权）人： | 北京百分点科技集团股份有限公司 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08;G06K9/62 |
| 代理公司： | 北京国昊天诚知识产权代理有限公司 11315 | 代理人： | 张阳;许振新 |
| 地址： | 100081 北京市海淀*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请实施例公开了一种深度学习模型的训练方法、预测方法和装置，针对人工特征拟合XgBoost模型，并通过XgBoost模型提取特征，将提取的特征输入改进的Transformer模型当中，并进一步进行训练，通过该Transformer模型降低人工特征输入的维度，再将该Transformer输出的特征与BERT模型输出的特征进行连接并共同进行训练。通过这种方法，可以在不损失大量预测精度的基础上，有效地降低人工特征输入的维度，从而有效提高深度迁移学习的预测效果。 | ||
| 搜索关键词： | 深度 学习 模型 训练 方法 预测 装置 | ||
【主权项】：
1.一种深度学习模型的训练方法，其特征在于，所述方法包括：/n基于语料语句训练极端梯度提升模型xgboost模型；/n基于语料语句训练基于Transformer的双向编码器表示Bert模型；/n将语料语句构建的人工特征样本数据作为xgboost模型的输入，得到包含拟合特征的第一预测数据；/n将所述第一预测数据作为Transformer模型的输入，对Transformer模型进行训练，所述Transformer模型包括依次连接的卷积层、多头注意力模块、前向传播模块和平均池化层；/n将语料语句作为Bert模型的输入，将所述语料语句构建的人工特征样本数据经所述xgboost模型的预测数据作为所述Transformer模型的输入，将所述语料语句对应的标签作为所述Bert模型和所述Transformer模型的共同输出，对所述Bert模型和所述Transformer模型进行联合训练，所述Bert模型与所述Transformer模型共同连接拼接层后输出。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京百分点科技集团股份有限公司，未经北京百分点科技集团股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910983661.3/，转载请声明来源钻瓜专利网。
