[发明专利]一种基于语境和Transformer的多语言对话机器人系统及其对话方法

说明书

本发明提供一种基于语境和Transformer的多语言对话机器人系统及其对话方法，该系统包括：目标语种识别器模块、语音识别模块、语音情绪识别模块、语音多语言融合器模块和语音合成模块；目标语种识别器模块对不同的语种进行识别；语音识别模块是得到识别后的文本问句；语音情绪识别模块对语音进行情绪识别；语音多语言融合器模块将目标语言结合语音情绪特征和多语言融合文本答案输出情绪化翻译结果；语音合成模块将答案文本通过语音合成输出语音答案。本发明通过自动识别目标语种和语音情绪，进行语义多语言融合进行答案选择，并通过基于语境的答案翻译，能够智能回答多语言的问题，降低了采用人工客服的时间成本和资金成本，提高了对话机器人回答能力。

技术领域

本发明涉及智能语音技术领域，具体涉及一种基于语境和Transformer的多语言对话机人系统及其对话方法。

背景技术

智能问答(Question Answering,QA)是指利用计算机自动回答用户所提出的问题以满足用户知识需求的问答系统。不同于现有的搜索引擎，问答系统是信息服务的一种高级形式，系统返回用户的不再是基于关键词匹配排序的文档列表，而是精准的自然语言答案。近年来，随着人工智能的飞速发展，智能问答已经成为备受关注且发展前景广泛的研究方向。现代的问答系统是融合知识库、信息检索、机器学习、自然语言理解等技术的人机对话服务。智能问答系统在很多方面不同于传统的信息检索系统：

1)系统的输入、输出都是自然语言；

2)需要考虑用户对话的上下文，即语境；

3)在不能理解用户意图的情况下，会请求用户补充信息。目前智能问答系统存在数据难收集(尤其是小语种)、跨语言能力差、多轮问答任务场景难度大等问题。

得益于深度学习、自然语言处理和机器翻译的快速发展，智能问答系统迎来了新的机遇和挑战。目前的智能问答系统性能，与人工智能的其他领域还存在很大的差距。虽然人工智能技术得到了长足的发展，但目前智能问答系统还存在着不够稳定、不够智能、跨语言对话能力不足等缺点。

而人工翻译来辅助人工客服或智能客服完成跨语言对话，具有翻译成本高，回答质量受个人影响大，主观性强等弱点。

因此，现有技术存在缺陷，需要进一步改进。

发明内容

针对现有技术存在的问题，本发明提供一种基于语境和Transformer的多语言对话机人系统及其对话方法。

为实现上述目的，本发明的具体方案如下：

本发明提供一种基于语境和Transformer的多语言对话机器人系统，包括：目标语种识别器模块、语音识别模块、语音情绪识别模块、语音多语言融合器模块以及语音合成模块；

所述目标语种识别器模块用朴素贝叶斯分类器对不同的语种进行识别；

所述语音识别模块是根据目标语种选择不同的语音识别引擎并得到识别后的文本问句；

所述语音情绪识别模块基于多模态语音情感分类算法对语音进行情绪识别；

所述语音多语言融合器模块是基于Transformer的端到端神经网络机器翻译引擎将不同语种的源语言文本翻译成不同语种的目标语言并结合语音情绪特征和多语言融合文本答案进行分类输出情绪化翻译结果；

所述语音合成模块将目标语言答案文本通过语音合成输出语音答案。

优选地，所述目标语种识别器模块用朴素贝叶斯分类器对不同的语种进行识别。

优选地，所述语音识别模块识别语音过程中将多语言融合文本经过BERT文本语义特征编码器处理得到文本语义特征向量。

优选地，所述语音情绪识别模块对语音进行情绪识别具体是将音频文件经过MDRE语音情感分类器处理得到音频情绪特征。