[发明专利]深度学习模型的训练方法、预测方法和装置

说明书

本申请实施例公开了一种深度学习模型的训练方法、预测方法和装置，针对人工特征拟合XgBoost模型，并通过XgBoost模型提取特征，将提取的特征输入改进的Transformer模型当中，并进一步进行训练，通过该Transformer模型降低人工特征输入的维度，再将该Transformer输出的特征与BERT模型输出的特征进行连接并共同进行训练。通过这种方法，可以在不损失大量预测精度的基础上，有效地降低人工特征输入的维度，从而有效提高深度迁移学习的预测效果。

技术领域

本申请涉及机器学习、人工智能、自然语言处理技术领域，尤其涉及一种深度学习模型的训练方法、预测方法和装置。

背景技术

近年来，深度学习(Deep Learning)在计算机视觉(Computer Vision，CV)、自然语言处理(Natural Language Processing，NLP)等领域均取得了长足的进展。深度学习模型的良好效果建立在大量高质量标注数据的基础之上，数据量越大，训练出的深度学习模型越容易泛化且切合实际，但在很多任务和领域中，标注数据稀少且标注成本很高，故此又提出了深度迁移学习模型。深度迁移学习主要思想是将在源域上训练好的预训练模型迁移到目标域中，通过微调的方式完成目标域的任务。

虽然深度迁移学习在小样本预测上取得了很大发展，但是在大量的实际应用中仍然不能完全替代人工特征。虽然深度学习方法能够自动提取出难以由人工规则得出的数据特征，但其过程属于黑盒模型，这就意味着对于某些可由人工规则提取出的特征，深度迁移学习模型可能无法保证能将该特征提取出来。因此又提出了将人工特征与深度迁移学习的特征结合的方式来优化模型整体性能。

但是，对于如何结合深度迁移学习模型和基于人工特征的模型，目前尚无有效的方法。

发明内容

本申请实施例提供一种深度学习模型的训练方法、预测方法和装置，可以有效结合深度迁移学习模型和基于人工特征的模型，提高预测效果。

为解决上述技术问题，本发明实施例是这样实现的：

第一方面，本发明实施例提供了一种深度学习模型的训练方法，所述方法包括：

基于语料语句训练极端梯度提升模型xgboost模型；

基于语料语句训练基于Transformer的双向编码器表示Bert模型；

将语料语句构建的人工特征样本数据作为xgboost模型的输入，得到包含拟合特征的第一预测数据；

将所述第一预测数据作为Transformer模型的输入，对Transformer模型进行训练，所述Transformer模型包括依次连接的卷积层、多头注意力模块、前向传播模块和平均池化层；

将语料语句作为Bert模型的输入，将所述语料语句构建的人工特征样本数据经所述xgboost模型的预测数据作为所述Transformer模型的输入，将所述语料语句对应的标签作为所述Bert模型和所述Transformer模型的共同输出，对所述Bert模型和所述Transformer模型进行联合训练，所述Bert模型与所述 Transformer模型共同连接拼接层后输出。

第二方面，本发明实施例提供了一种深度学习模型的预测方法，所述深度学习模型包括并行的BERT模型和人工特征模型，所述人工特征模型包括 Transformer模型和XgBoost模型，所述方法包括：

获取语句语料；

将所述语句语料中的目标语句输入XgBoost模型中，以得到包括所述 XgBoost模型的拟合特征的第一样本数据，其中，所述XgBoost模型基于语句语料和语句语料构建的人工特征拟合得到；

将所述语句语料中的目标语句输入BERT模型，其中，所述BERT模型基于语料语句训练得到；