[发明专利]一种基于语境和Transformer的多语言对话机器人系统及其对话方法

权利要求书

1.一种基于语境和Transformer的多语言对话机器人系统，其特征在于包括：

目标语种识别器模块、语音识别模块、语音情绪识别模块、语音多语言融合器模块以及语音合成模块；

所述目标语种识别器模块对不同的语种进行识别；

所述语音识别模块是根据目标语种选择不同的语音识别引擎并得到识别后的文本问句；

所述语音情绪识别模块基于多模态语音情感分类算法对语音进行情绪识别；

所述语音多语言融合器模块是基于Transformer的端到端神经网络机器翻译引擎将不同语种的源语言文本翻译成不同语种的目标语言并结合语音情绪特征和多语言融合文本答案进行分类输出情绪化翻译结果；

所述语音合成模块将目标语言答案文本通过语音合成输出语音答案。

2.根据权利要求1所述的基于语境和Transformer的多语言对话机器人系统，其特征在于，所述目标语种识别器模块用朴素贝叶斯分类器对不同的语种进行识别。

3.根据权利要求1所述的基于语境和Transformer的多语言对话机器人系统，其特征在于，所述语音识别模块识别语音过程中将多语言融合文本经过BERT文本语义特征编码器处理得到文本语义特征向量。

4.根据权利要求1所述的基于语境和Transformer的多语言对话机器人系统，其特征在于，所述语音情绪识别模块对语音进行情绪识别具体是将音频文件经过MDRE语音情感分类器处理得到音频情绪特征。

5.一种基于语境和Transformer的多语言对话机器人系统的对话方法，其特征在于，包括如下步骤：

S1：目标语种识别器模块将客户的声音信息或文本信息通过目标语种识别器识别出目标语种；

S2：语音识别模块根据目标语种选择不同的语音识别引擎并得到识别后的文本问句；

S3：语音情绪识别模块对语音进行情绪识别，输出音频情绪特征向量；

S4：语音多语言融合器模块将步骤S2中语音识别的结果先通过基于Transformer的基准语言翻译模块得到不同目标语言的答案文本并将多语言答案进行融合，最后融合步骤S3中得到音频情绪特征向量输出目标语言答案文本，即情绪化翻译结果；

S5：语音合成模块将目标语言答案文本通过语音合成输出语音答案。

6.根据权利要求5所述的基于语境和Transformer的多语言对话机器人系统的对话方法，其特征在于，步骤S4具体包括：

S41，多语言融合文本经过文本语义特征编码器得到文本语义特征向量；

S42，对应音频文件经过语音情感分类器得到音频情绪特征向量；

S43，文本语义特征向量和音频情绪特征向量融合，得到融合后的特征；

S44，融合后的特征经过情绪化翻译器得到目标语言答案文本。

7.根据权利要求6所述的基于语境和Transformer的多语言对话机器人系统的对话方法，其特征在于，步骤S41具体包括：

S411，输入源语言通过通用表征器得到源语言句子的通用特征向量；

S412，源语言句子的通用特征向量通过Transformer编码器得到编码器输出向量；

S413，输入目标语言token，判断目标语言；

S414，根据不同的目标语言，将编码器输出向量送到对应的Transformer解码器进行解码，得到目标译文；

具体算法如下：

其中，

k(如1,2,3,…，n)表示语种编号；

t(1,2,3,…，T_k)表示目标语言的序列长度，

y_k为对应语种k的参考译文，

C_k为语种k对应的上下文向量。

8.根据权利要求6所述的基于语境和Transformer的多语言对话机器人系统的对话方法，其特征在于，步骤S43具体算法如下：

其中，

A，是音频情绪特征向量；

T，是文本语义特征向量。

9.根据权利要求6所述的基于语境和Transformer的多语言对话机器人系统的对话方法，其特征在于，步骤S44具体算法如下：

C2＝EncoderTransformer(concat(Z,T))；

其中，

m为目标语言答案文本的序列长度,

θ为模型参数，

y_t表示y₁,y₂,…，y_t-1；

C为编码器输出向量，上下文特征。