[发明专利]一种基于XLNet的智能语音对话意图识别方法

说明书

本发明提出一种基于XLNet的智能语音对话意图识别方法，包括以下步骤：S1：将对话节点的标准问题和扩展的多个相似问题作为语料打标整理成文本样本；S2：将文本样本拆分成训练集合和验证集合；S3：将训练集合输入XLNet模型中，初始化原始相关权重，设置好迭代次数和步长，并在损失函数中加入Triplet loss损失，固定网络其他层；S4：通过离线准确率在验证集合上验证XLNet模型；S5：预加载XLNet模型，提供接口接收待识别的语音转化为文本输入，输出对话文本相关的分类类别；S6：在线上服务中添加对应的阀值计算和分类概率计算；S7：分类激活时通过配置文件得到相关分类的文本标题。本发明提出的意图识别方法，极大提升了意图识别率；重写demo脚本，提升了意图识别率。

技术领域

本发明涉及语音识别领域，尤其涉及一种基于XLNet的智能语音对话意图识别方法。

背景技术

随着大数据和机器计算力的飞速发展，深度学习技术在视觉和语音上取得了很多重大的突破。在语音识别领域，越来越多的智能语音机器人投入实用，语音机器人是否智能，取决于对话过程中的意图识别是否准确。XLNet模型的提出刷新了nlp技术在各项数据集合上的成绩，然而真正使用XLNet技术在语音识别领域的使用依然存在很多问题。

首先，基于XLNet模型完全复用demo中的脚本和模型参数，完全复用demo脚本和模型参数，在实际场景下没有根据本身的数据分布调整模型参数，导致效果不佳；其次，因为重新训练整个网络所需的语料和计算资源太过于庞大，导致个人或者公司选择重新训练整个网络时整个模型没有收敛或者过拟合。

发明内容

为解决上述问题，本发明提出一种基于XLNet的智能语音对话意图识别方法。

一种基于XLNet的智能语音对话意图识别方法，包括以下步骤：

S1：将对话节点的标准问题和扩展的多个相似问题作为语料打标整理成文本样本；

S2：将文本样本拆分成训练集合和验证集合；

S3：将训练集合输入模型中，初始化原始相关权重，设置好迭代次数和步长，并在损失函数中加入Triplet loss损失，固定网络其他层，仅仅再次训练XLNet模型最后两层网络，直到模型收敛；

S4：离线准确率等指标评测，在验证集合上验证模型可用

S5：线上预测时，预加载模型，提供接口接收待识别的语音转化为文本输入输出对话文本相关的分类类别

S6：在线上服务中添加对应的阀值计算和分类概率计算，阀值是通过训练时的所有样本取一个较大的分位数值用于判断是否激活输出相关的分类，概率值是通过归一化和softmax计算得到一个0到1之前的合理的，便于理解的概率；

S7：分类激活时通过配置文件得到相关分类的文本标题，否则返回默认分类(默认分类在对话中对应走相关兜底话术)；

优选的，所述将文本样本拆分成训练集合和验证集合之后还包括：通过多个实际通话录音完善语气词词库，通过语气词词库去除相关语气词。

优选的，所述按阀值判断分类是否激活包括：

概率值先用归一化方法转换成正值，如果多个节点分类的概率值都超过阀值输出最大和次大概率节点时，剔除其他超过阀值的节点分别计算具体的概率，剔除其他节点是为了每次都单一计算相关节点的分类，便于计算分类softmax时能够转换成一个0到1之间的概率；

优选的，所述将待识别的语音转化为文本输入XLNet模型之前还包括：采用多个进程代理的方式提高系统吞吐量，用缓存机制提前加载好训练的模型提高单条请求响应时间。

优选的，所述将待识别的语音转化为文本输入XLNet模型包括：