[发明专利]一种语音交互方法及其系统和对话设备

说明书

本发明公开一种语音交互方法，包括编写对话故事，模拟自然对话过程，编写人机对话样板；准备语言理解数据，将用户可能的输入语句，按照所代表的意图进行分类，并标注出语句中包含的实体；准备用于校正识别所得的用户语句的领域语言模型数据；基于端到端模型训练语音识别模块的语音识别能力；在语句校正模块中对语音识别模块识别出的语句进行校正；利用语言理解数据在语言理解模块中对校正后语句进行分类与识别；利用用户故事数据和领域知识，训练对话管理模块的对话管理模型。本发明还公开语音交互系统和对话设备，采用前述语音交互方法。本发明能有效降低系统架构模型的复杂度，无需预定义所有对话可能，枚举容易，功能性好。

技术领域

本发明涉及人机交互领域，尤其涉及一种语音交互方法及其系统和对话设备。

背景技术

近几年来，随着人工智能的飞速发展，市场上出现了多种多样的语音对话机器人，用于手机助手、智能客服、语音导航、智能音箱等场景。这些语音交互系统的核心模块一般包括语音识别、语音理解、对话管理等模块。

语音识别模块一般采用DNN-HMM模型或者深度学习模型，通用的语音识别模型在特定领域的对话中，准确率会大打折扣，从而导致后续语言理解模块难以有效工作。语音理解模块一般采用流水线式作业，把工作流程分拆成几个部分，用多个模型一次对数据进行处理，执行分词、命名实体识别、意图识别等任务，模型复杂，计算量大。对话管理模块一般会采用对话管理方法，包括基于有限状态机的对话管理算法、基于槽位填充的对话管理算法和基于代理(Agent)的对话管理方法，但是基于有限状态机的对话管理算法，需要预定义所有的对话可能，枚举困难，难以处理异常情况，功能性较差；基于槽位填充的对话管理算法，只能处理槽位填充问题；基于Agent的对话管理方法开发复杂，维护和可拓展性较差。由于上述的系统架构、模型的复杂性，导致多年以来实时语音交互系统发展进程缓慢。

发明内容

本发明针对现有技术中的不足，提供一种语音交互方法，包括以下步骤：编写对话故事，模拟自然的对话过程，编写人机对话样板，用于模型训练；准备语言理解数据，将用户可能的输入语句，按照所代表的意图进行分类，并标注出语句中包含的实体；准备用于校正识别所得的用户语句的领域语言模型数据；基于端到端模型训练语音识别模块的语音识别能力；利用所述领域语言模型数据在语句校正模块中对语音识别模块识别出的语句进行校正；利用所述语言理解数据在语言理解模块中对校正后语句进行分类与识别；利用用户故事数据和领域知识，训练对话管理模块的对话管理模型。

特别的，所述对话管理模型采用基于嵌入机制的深度学习模型，并通过对所述基于嵌入机制的深度学习模型进行循环神经网络计算而得到循环嵌入对话管理模型，所述循环嵌入对话管理模型的建立步骤包括：将用户输入、机器动作和槽进行向量化，形成能够用来训练深度学习模型的特征向量，所述特征向量包括用户输入特征向量、机器动作特征向量和槽特征向量；将所述特征向量输入嵌入层来创建嵌入向量，所述嵌入向量包括用户输入嵌入向量、机器动作和槽嵌入向量；将用户输入嵌入向量分别输入用户注意力模块和系统注意力模块，得到用户输入的用户注意力向量，和用户输入的系统注意力向量；将用户输入嵌入向量与用户输入的注意力向量相加，并将槽嵌入向量连接到所述用户输入嵌入向量与用户输入的注意力向量相加的计算结果的尾端，最后所得的数据一起输入LSTM单元；将LSTM单元的输出通过嵌入层计算到当前时间步的嵌入向量，并将所述当前时间步的嵌入向量与用户输入的系统注意力向量相加而得到当前时间步的对话状态向量；计算所述当前时间步的对话状态向量与目标机器动作嵌入向量的正确相似度。

可选地，所述循环嵌入对话管理模型的建立步骤还包括：采用负采样的方法获得当前时间步的对话状态向量与错误的机器动作嵌入向量的错误相似度，将正确相似度与错误相似度均代入损失函数，通过使所述损失函数最小化来提高正确相似度，降低错误相似度。

可选地，在所述循环嵌入对话管理模型的建立步骤中，所述用户注意力模块包括注意力机制、神经图灵机与记忆模块，所述系统注意力模块也包括注意力机制、神经图灵机与记忆模块。