[发明专利]一种多模态意图识别方法、装置、设备及存储介质

权利要求书

1.一种多模态意图识别的方法，用于车辆，其特征在于，包括：

获取用户的原始语音信息；

将获取的原始语音信息转换为文本信息；

基于文本分类模型TextCNN对所述文本信息进行文本特征分类；计算第一交叉熵值；

基于无监督预训练模型wav2vec对所述原始语音信息提取音频特征；基于音频特征进行音频特征分类；计算第二交叉熵值；

抽取文本特征和所述音频特征；拼接抽取的文本和所述音频特征；对拼接获得的结果进行全连接和激活；计算第三交叉熵值；

基于第一交叉熵值、第二交叉熵值和第三交叉熵值的加权运算获得意图识别结果，所述加权运算的权值基于所述文本分类模型TextCNN和所述无监督预训练模型wav2vec的训练获得。

2.根据权利要求1所述的意图识别的方法，其特征在于，将获取的原始语音信息转换为文本信息包括：

将原始语音信息通过无监督预训练模型wav2vec提取音频特征；进行音频特征分类；

基于所述音频特征分类通过自动语音识别asr转换得到文本信息。

3.根据权利要求1所述的意图识别的方法，其特征在于，基于文本分类模型TextCNN对所述文本信息进行文本特征分类；计算第一交叉熵值包括：

通过文本分类模型TextCNN对所述文本信息进行文本特征分类；

基于第一分类函数对分类后的所述文本特征进行分类计算，得到文本特征的分类概率；

基于文本特征的分类概率计算得到第一交叉熵值。

4.根据权利要求3所述的意图识别的方法，其特征在于，基于无监督预训练模型wav2vec对所述原始语音信息提取音频特征；基于音频特征进行音频特征分类；计算第二交叉熵值包括：

基于第二分类函数对分类的音频特征进行分类概率计算，得到音频特征的分类概率；

基于所述音频特征的分类概率计算得到第二交叉熵值。

5.根据权利要求4所述的意图识别的方法，其特征在于，抽取文本特征和所述音频特征；拼接抽取的文本和所述音频特征；对拼接获得的结果进行全连接和激活；计算第三交叉熵值包括：

将所述文本特征的分类概率和音频特征的分类概率进行拼接处理，获取拼接结果概率；

对拼接结果概率依次进行全连接和激活，获得全连接和激活结果；

基于所述全连接和激活结果计算第三交叉熵值。

6.根据权利要求5所述的意图识别的方法，其特征在于，对拼接结果概率依次进行全连接和激活，获得全连接和激活结果以及基于所述全连接和激活结果计算第三交叉熵值之间还包括：

基于第三分类函数对所述全连接和激活结果进行分类计算，得到所述全连接和激活结果的分类概率。

7.根据权利要求3至6任一项所述的意图识别的方法，其特征在于，所述第一分类函数、第二分类函数以及第三分类函数为softmax函数。

8.一种多模态意图识别的装置，其特征在于，该装置包括：

语音获取单元，用于获取用户的原始语音信息；

语文转换单元，用于将获取的原始语音信息转换为文本信息；

第一交叉熵计算单元，用于基于文本分类模型TextCNN对所述文本信息进行文本特征分类；计算第一交叉熵值；

第二交叉熵计算单元，用于基于无监督预训练模型wav2vec对所述原始语音信息提取音频特征；基于音频特征进行音频特征分类；计算第二交叉熵值；

第三交叉熵计算单元，用于抽取文本特征和所述音频特征；拼接抽取的文本和所述音频特征；对拼接获得的结果进行全连接和激活；计算第三交叉熵值；

意图识别结果单元，用于基于第一交叉熵值、第二交叉熵值和第三交叉熵值的加权运算获得意图识别结果，所述加权运算的权值基于所述文本分类模型TextCNN和所述无监督预训练模型wav2vec的训练获得。