[发明专利]标签预测模型训练方法、标签预测方法、装置和设备

权利要求书

1.一种标签预测模型训练方法，其特征在于，所述方法包括：

获取训练样本，所述训练样本包括对语音对话和多个不同类型的标签进行拼接后得到的样本数据；

构建标签预测模型的框架，基于所述标签预测模型的框架和所述训练样本，生成对应的标签预测结果，所述标签预测结果中包括多个预测标签；

基于预设损失函数，根据所述训练样本对所述标签预测模型的框架进行训练，得到标签预测模型。

2.根据权利要求1所述的方法，其特征在于，所述标签预测模型的框架包括：语义特征提取层、多标签关系构建层以及多面条件随机场层；

所述语义特征提取层，用于基于所述训练样本生成对应的目标语义向量，所述目标语义向量包括所述多个不同类型的标签对应的第一语义向量；

所述多标签关系构建层，用于基于所述第一语义向量确定标签转移矩阵；

所述多面条件随机场层，用于基于所述标签转移矩阵进行标签预测，得到对应的标签预测结果。

3.根据权利要求2所述的方法，其特征在于，所述语义特征提取层包括：嵌入层、基于位置的编码器以及预训练模型；

所述嵌入层，用于对所述训练样本进行字符编码得到对应的字符编码向量，对所述训练样本进行分段编码得到对应的分段编码向量，以及对所述语音对话进行位置编码，得到第一位置编码向量；

所述基于位置的编码器，用于通过标签分类树对所述多个不同类型的标签进行位置编码，得到第二位置编码向量；

所述预训练模型，用于对所述字符编码向量、所述分段编码向量、所述第一位置编码向量以及所述第二位置编码向量进行融合后得到的表示向量，进行特征提取，得到所述目标语义向量。

4.根据权利要求2所述的方法，其特征在于，所述基于所述第一语义向量确定标签转移矩阵，包括：

基于所述第一语义向量中包括的子语义向量，确定第一关系矩阵；

基于所述语音对话中每个语句对应的预定义向量，确定第二关系矩阵；

对所述第一关系矩阵中的元素和所述第二关系矩阵中对应位置的元素求取平均值，得到所述标签转移矩阵。

5.根据权利要求2所述的方法，其特征在于，所述目标语义向量包括所述语音对话对应的第二语义向量；

所述预设损失函数通过以下方式确定：

基于所述多个不同类型的标签，确定关系转移矩阵；

基于所述第二语义向量，确定激发函数；

基于所述关系转移矩阵和所述激发函数确定特征方程；

基于所述特征方程、概率分布函数以及预设正则函数，确定所述预设损失函数。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述基于预设损失函数，根据所述训练样本对所述标签预测模型的框架进行训练，得到标签预测模型，包括：

根据所述预设损失函数，确定对应的损失值；

根据所述损失值，调整所述标签预测模型的框架的参数，直至所述标签预测模型的框架收敛，得到所述标签预测模型。

7.一种标签预测方法，其特征在于，所述方法包括：

获取待预测对话数据；

将所述待预测对话数据输入标签预测模型中，得到所述待预测对话数据对应的目标标签预测结果；

其中，所述标签预测模型基于如权利要求1至6任一项所述的方法训练得到。

8.一种标签预测模型训练装置，其特征在于，所述装置包括：

第一获取模块，用于获取训练样本，所述训练样本包括对语音对话和多个不同类型的标签进行拼接后得到的样本数据；

框架确定模块，用于构建标签预测模型的框架，基于所述标签预测模型的框架和所述训练样本，生成对应的标签预测结果，所述标签预测结果中包括多个预测标签；

模型确定模块，用于基于预设损失函数，根据所述训练样本对所述标签预测模型的框架进行训练，得到标签预测模型。