[发明专利]一种语音交互方法及其系统和对话设备

权利要求书

1.一种语音交互方法，其特征在于，包括以下步骤：

编写对话故事，模拟自然的对话过程，编写人机对话样板，用于模型训练；

准备语言理解数据，将用户可能的输入语句，按照所代表的意图进行分类，并标注出语句中包含的实体；

准备用于校正识别所得的用户语句的领域语言模型数据；

基于端到端模型训练语音识别模块的语音识别能力；

利用所述领域语言模型数据在语句校正模块中对语音识别模块识别出的语句进行校正；

利用所述语言理解数据在语言理解模块中对校正后语句进行分类与识别；

利用用户故事数据和领域知识，训练对话管理模块的对话管理模型；

所述对话管理模型采用基于嵌入机制的深度学习模型，并通过对所述基于嵌入机制的深度学习模型进行循环神经网络计算而得到循环嵌入对话管理模型，所述循环嵌入对话管理模型的建立步骤包括：

将用户输入、机器动作和槽进行向量化，形成能够用来训练深度学习模型的特征向量，所述特征向量包括用户输入特征向量、机器动作特征向量和槽特征向量；

将所述特征向量输入嵌入层来创建嵌入向量，所述嵌入向量包括用户输入嵌入向量、机器动作和槽嵌入向量；

将用户输入嵌入向量分别输入用户注意力模块和系统注意力模块，得到用户输入的用户注意力向量，和用户输入的系统注意力向量；

将用户输入嵌入向量与用户输入的注意力向量相加，并将槽嵌入向量连接到所述用户输入嵌入向量与用户输入的注意力向量相加的计算结果的尾端，最后所得的数据一起输入LSTM单元；

将LSTM单元的输出通过嵌入层计算到当前时间步的嵌入向量，并将所述当前时间步的嵌入向量与用户输入的系统注意力向量相加而得到当前时间步的对话状态向量；

计算所述当前时间步的对话状态向量与目标机器动作嵌入向量的正确相似度。

2.根据权利要求1所述的一种语音交互方法，其特征在于，所述循环嵌入对话管理模型的建立步骤还包括：

采用负采样的方法获得当前时间步的对话状态向量与错误的机器动作嵌入向量的错误相似度，将正确相似度与错误相似度均代入损失函数，通过使所述损失函数最小化来提高正确相似度，降低错误相似度。

3.根据权利要求2所述的一种语音交互方法，其特征在于，

在所述循环嵌入对话管理模型的建立步骤中，所述用户注意力模块包括注意力机制、神经图灵机与记忆模块，所述系统注意力模块也包括注意力机制、神经图灵机与记忆模块。

4.根据权利要求3所述的一种语音交互方法，其特征在于，所述注意力机制的计算采用Bahdanau分数的插值；所述神经图灵机用于将记忆模块中的值切断，而只使用当前时间步之前的时间步的信息。

5.根据权利要求4所述的一种语音交互方法，其特征在于，所述语句校正模块采用基于transformer的encoder-decoder模型；所述基于transformer的encoder-decoder模型的架构建立步骤包括：

利用word2vec对输入语句进行词嵌入训练，从而得到样本的嵌入矩阵；

利用正弦和余弦函数进行位置编码；

将所述位置编码所得的样本集输入多头注意力模型；

将所述多头注意力模型的输出送入前馈神经网络；

所述多头注意力模型与所述前馈神经网络构成encoder，将encoder输出的特征矩阵输入decoder；

获得输入语句的对应文字。

6.根据权利要求5所述的一种语音交互方法，其特征在于：

所述decoder包括两层堆叠的多头注意力模型和一层前馈神经网络；

第一层所述多头注意力模型采用输出标签作为输入；

第二层所述多头注意力模型采用所述encoder的输出作为输入；

第二层所述多头注意力模型的输出在经由前馈神经网络计算之后输入到softmax函数，所述softmax函数输出概率；

对所述softmax函数的输出概率通过贪心算法的计算，选择最大概率；对所述最大概率进行词典查找获得获得输入语句的对应文字。