[发明专利]标签预测模型训练方法、标签预测方法、装置和设备

说明书

本公开涉及一种标签预测模型训练方法、标签预测方法、装置和设备，尤其涉及自然语言处理领域；其中，该方法包括：获取训练样本，训练样本包括对语音对话和多个不同类型的标签进行拼接后得到的样本数据；构建标签预测模型的框架，基于标签预测模型的框架和训练样本，生成对应的标签预测结果，标签预测结果中包括多个预测标签；基于预设损失函数，根据训练样本对标签预测模型的框架进行训练，得到标签预测模型。本公开实施例通过训练样本对标签预测模型的框架进行训练，得到标签预测模型，使得对语音对话的标签预测结果更准确，减少误差，且有利于提高语音对话理解的准确性。

技术领域

本公开涉及自然语言处理领域，尤其涉及一种标签预测模型训练方法、标签预测方法、装置和设备。

背景技术

自然语言对话技术在智能电视交互、手机助手、智能音响以及智能客服等领域中发挥了至关重要的作用，是相关服务的核心技术难题。如何正确理解用户表达的语义，是系统对用户查询的问题进行回复或者进一步与用户沟通问题的基础。因此，对用户查询进行标签分类，从而理解用户的意图是非常有必要的。

目前用户查询的标签分类问题，往往忽略了多个标签之间的关系，仅仅依赖于单标签的分类技术，不够准确，从而导致后续的语义理解结果不准确，难以实现用户的实际需求，导致用户的使用体验较差。

发明内容

为了解决上述技术或者至少部分地解决上述技术问题，本公开提供了一种标签预测模型训练方法、标签预测方法、装置和设备，通过训练样本对标签预测模型的框架进行训练，得到标签预测模型，使得对语音对话的标签预测结果更准确，减少误差，且有利于提高语音对话理解的准确性。

为了实现上述目的，本公开实施例提供的技术方案如下：

第一方面，本公开提供了一种标签预测模型训练方法，该方法包括：

获取训练样本，所述训练样本包括对语音对话和多个不同类型的标签进行拼接后得到的样本数据；

构建标签预测模型的框架，基于所述标签预测模型的框架和所述训练样本，生成对应的标签预测结果，所述标签预测结果中包括多个预测标签；

基于预设损失函数，根据所述训练样本对所述标签预测模型的框架进行训练，得到标签预测模型。

作为本公开实施例一种可选的实施方式，所述标签预测模型的框架包括：语义特征提取层、多标签关系构建层以及多面条件随机场层；

所述语义特征提取层，用于基于所述训练样本生成对应的目标语义向量，所述目标语义向量包括所述多个不同类型的标签对应的第一语义向量；

所述多标签关系构建层，用于基于所述第一语义向量确定标签转移矩阵；

所述多面条件随机场层，用于基于所述标签转移矩阵进行标签预测，得到对应的标签预测结果。

作为本公开实施例一种可选的实施方式，所述语义特征提取层包括：嵌入层、基于位置的编码器以及预训练模型；

所述嵌入层，用于对所述训练样本进行字符编码得到对应的字符编码向量，对所述训练样本进行分段编码得到对应的分段编码向量，以及对所述语音对话进行位置编码，得到第一位置编码向量；

所述基于位置的编码器，用于通过标签分类树对所述多个不同类型的标签进行位置编码，得到第二位置编码向量；

所述预训练模型，用于对所述字符编码向量、所述分段编码向量、所述第一位置编码向量以及所述第二位置编码向量进行融合后得到的表示向量，进行特征提取，得到所述目标语义向量。

作为本公开实施例一种可选的实施方式，所述基于所述第一语义向量确定标签转移矩阵，包括：

基于所述第一语义向量中包括的子语义向量，确定第一关系矩阵；