[发明专利]多任务分类模型训练方法、多任务分类方法及装置

说明书

本公开提供了一种多任务分类模型训练方法、多任务分类方法及装置。所述方法包括：将预设信息输入至预训练模型；预设信息包括多个信息单元；调用参数共享层，对每个信息单元进行全局向量表征处理，确定每个信息单元的全局语义表征向量；调用多个分类器，根据每个全局语义表征向量对预设信息进行分类处理，确定预设信息的分类预测结果；基于分类预测结果、第一数量、第二数量和标注结果，计算得到损失值；在损失值处于预设范围内的情况下，将训练得到的目标预训练模型作为多任务分类模型。本公开可以在少量训练数据的基础上获取较好的多任务分类模型，在有新增任务的情况下，仅需增加少量的标注训练数据，能够降低标注成本。

技术领域

本公开的实施例涉及多任务分类模型训练技术领域，尤其涉及一种多任务分类模型训练方法、多任务分类方法及装置。

背景技术

随着电子商务的快速发展，越来越多的消费者在互联网平台上发表产品评论。面对用户更加直接的反馈，如何整合反馈信息，并对此做出迅速的反应，成为了企业的一大挑战。例如，以餐馆为例，用户评论文本中可能包含对商户服务、饭菜口味和价格水平等多个维度的评价内容。在先技术方案中，通常是采用自然语言处理技术从用户评论文本中挖掘出用户对商家各个维度的情感倾向，对如美团点评等O2O(Online to Offline，O2O电子商务)平台有着重要业务价值，既可以向商家反馈其优点和不足，优化经营策略，又可以向用户展示商家多维度信息，辅助用户做出决策。

传统的细粒度情感分析任务中，除了基于规则和情感词典的方法，还包括传统的机器学习方法：如支持向量机(SVM)、朴素贝叶斯分类器等；也有基于文本表征的深度学习方法：如DNN，长短时记忆网络(LSTM)、卷积神经网络(CNN)、Memory Network等。

采用上述方式，严重依赖于标注数据，尤其深度学习模型，需要大量的标注数据进行训练，标注成本较高。

发明内容

本公开实施例提供一种多任务分类模型训练方法、多任务分类方法及装置，用以在少量训练数据的基础上获取较好的多任务分类模型，而且，可以针对多个任务进行模型训练，在有新增任务的情况下，仅需在新增任务上增加很少的标注训练数据，即可够达到较好的模型效果，能够大幅度降低标注成本。

根据本公开实施例的第一方面，提供了一种多任务分类模型训练方法，包括：

将预设信息输入至预训练模型；所述预设信息包括多个信息单元，所述预训练模型包括参数共享层和多个分类器；

调用所述参数共享层，对每个所述信息单元进行全局向量表征处理，确定每个所述信息单元在所述预设信息中的全局语义表征向量；

调用所述多个分类器，根据每个所述全局语义表征向量对所述预设信息进行分类处理，确定所述预设信息在多个任务上的分类预测结果；

基于所述分类预测结果、所述预设信息在各所述任务上的第一数量、所述任务的第二数量和所述预设信息的标注结果，计算得到损失值；

在所述损失值处于预设范围内的情况下，将训练得到的目标预训练模型作为多任务分类模型。

在本公开的一种具体实现中，所述参数共享层包括嵌入层、双向网络结构编码器和表征结果输出层；

所述调用所述参数共享层，对每个所述信息单元进行全局向量表征处理，确定每个所述信息单元在所述预设信息中的全局语义表征向量，包括：

调用所述嵌入层，对每个所述信息单元进行信息单元向量表征处理，计算得到每个所述信息单元对应的信息单元语义表征向量；

调用所述双向网络结构编码器，对每个所述信息单元语义表征向量进行语义识别处理，计算得到每个信息单元语义表征向量在所述预设信息中的全局语义表征向量；

调用所述表征结果输出层输出所述全局语义表征向量。