[发明专利]一种多模态意图识别方法、装置、设备及存储介质

说明书

一种多模态意图识别方法、装置、设备及存储介质，该意图识别方法包括如下步骤：获取用户的原始语音信息；将获取的原始语音信息转换为文本信息；基于文本分类模型TextCNN对文本信息进行文本特征分类；计算第一交叉熵值；基于无监督预训练模型wav2vec对原始语音信息提取音频特征；基于音频特征进行音频特征分类；计算第二交叉熵值；抽取文本特征和音频特征；拼接抽取的文本和音频特征；对拼接获得的结果进行全连接和激活；计算第三交叉熵值；基于第一交叉熵值、第二交叉熵值和第三交叉熵值的加权运算获得意图识别结果，加权运算的权值基于文本分类模型TextCNN和无监督预训练模型wav2vec的训练获得。本申请避免了文本信息错误引起的错误传递，保证下游任务执行准确。

技术领域

本发明属于多模态意图识别的技术领域，特别是涉及一种多模态意图识别方法、装置、设备及存储介质。

背景技术

随着人机对话的不断发展和完善，意图识别的任务型人机对话不断地部署到人们的现实生活中，如车载语音助手等。人机对话当前主流的方案主要是基于p i p l i ne的模式，即先通过asr模块将用户的语音转换成文本，再对文本进行意图识别的方式(即语音--asr--文本--意图识别模型--用户意图)。在p i p l i ne模式下(纯文本方式)可用的模型很多，比如传统的LSTM、GRU、TextCnn，比如当前的Bert等。

这些模型都有不错的应用效果，但是均面临一个严峻的挑战：错误传递问题，即错误的上游任务导致下游任务的错误。如用户语音实际输入的句子为：“没到鼓楼啊那”(无意义的方言语句)，但是asr(语音识别模块)识别为“到鼓楼我导航”，这直接造成了后续文本任务错误，导致了后续自然语言理解模块(NLU)将其错误文本判定为导航，而且单从文本信息，难以快速发现错误的特征，这是人机对话实际的意图识别中比较普遍的问题。

鉴于上述现有意图识别存在的缺陷，亟需本发明人对当前的意图识别方法进行改进，以解决现有意图识别在实际使用过程中难以快速发现具有错误的文本信息的错误特征，引起错误传递，导致下游任务执行错误的需求就显得尤其重要。

发明内容

本发明提供一种多模态意图识别方法、装置、设备及存储介质，以解决现有意图识别在实际使用过程中难以快速发现具有错误的文本信息的错误特征，引起错误传递，导致下游任务执行错误，通过多模态的意图识别方法，避免了具有错误的文本信息的错误特征向下游任务进行错误的传递，提高了意图识别的正确性，保证了下游任务的执行的准确性。

本发明的目的及解决其技术问题是采用以下技术方案来实现的。

本发明第一方面提供一种多模态意图识别方法，该意图识别方法包括如下步骤：

获取用户的原始语音信息；将获取的原始语音信息转换为文本信息；基于文本分类模型TextCNN对所述文本信息进行文本特征分类；计算第一交叉熵值；基于无监督预训练模型wav2vec对所述原始语音信息提取音频特征；基于音频特征进行音频特征分类；计算第二交叉熵值；抽取文本特征和所述音频特征；拼接抽取的文本和所述音频特征；对拼接获得的结果进行全连接和激活；计算第三交叉熵值；基于第一交叉熵值、第二交叉熵值和第三交叉熵值的加权运算获得意图识别结果，所述加权运算的权值基于所述文本分类模型TextCNN和所述无监督预训练模型wav2vec的训练获得。

可选的，将获取的原始语音信息转换为文本信息包括：将原始语音信息通过无监督预训练模型wav2vec提取音频特征；进行音频特征分类；基于所述音频特征分类通过自动语音识别asr转换得到文本信息。

可选的，基于文本分类模型TextCNN对所述文本信息进行文本特征分类；计算第一交叉熵值包括：通过文本分类模型TextCNN对所述文本信息进行文本特征分类；基于第一分类函数对分类后的所述文本特征进行分类计算，得到文本特征的分类概率；基于文本特征的分类概率计算得到第一交叉熵值。