[发明专利]一种基于深度学习模型的语音交互系统

权利要求书

1.一种基于深度学习模型的语音交互系统，其特征在于，包括声源定位模块、语音识别模块、自然语言理解模块、对话管理模块、自然语言生成模块和语音合成模块；

所述声源定位模块用于将采集到的声音信号进行预处理后输入至所述端到端声源定位模型得到声音定位信息，并根据所述声音定位信息从所述采集的声音信号中获取相应的目标声音数据后，传输至所述语音识别模块；

所述语音识别模块用于将接收到的所述目标声音数据输入至端到端的深度学习模型，得到所述目标声音数据对应的文本数据，并将所述文本数据传输至所述自然语言理解模块；

所述自然语言理解模块用于将接收到的所述文本数据进行分词、词性标注、命名实体识别和依存句法分析处理后，再结合所述文本数据的情感分析结果，得到所述文本数据的语义分析结果；

所述对话管理模块用于根据接收的所述语义分析结果、当前的语义环境和预设的对话状态决策动作和更新语义环境；

所述自然语言生成模块用于根据接收的所述语义分析结果生成回复文本；

所述语音合成模块用于将所述回复文本转换为成语音进行播报。

2.根据权利要求1所述的基于深度学习模型的语音交互系统，其特征在于，将采集到的声音信号进行预处理后输入至所述端到端声源定位模型得到声音定位信息，具体为：

通过多个传声器阵列采集声音信号，将所述声音信号进行特征提取后输入至所述端到端声源定位模型；

所述端到端声源定位模型计算所述声音信号对应的声源的方位角信息、俯仰角信息和距离信息，得到所述声源对应的声音定位信息。

3.根据权利要求2所述的基于深度学习模型的语音交互系统，其特征在于，所述端到端声源定位模型计算所述声音信号对应的声源的方位角信息、俯仰角信息和距离信息，具体为：

所述端到端声源定位模型根据延时估计算法计算各个传声器阵列采集的声音信号之间的时延差，再结合各个传声器阵列的几何结构计算所述声音信号对应的声源的方位角信息和俯仰角信息，再根据所述方位角信息、俯仰角信息和双曲线定位法计算所述声源的距离信息。

4.根据权利要求3所述的基于深度学习模型的语音交互系统，其特征在于，所述端到端的深度学习模型的训练过程包括以下步骤：

确定所述端到端的深度学习模型的输入序列和预测序列，所述输入序列为音频文件对应的序列，所述预测序列为文本文件对应的序列；

将所述输入序列输入所述端到端的深度学习模型后，所述端到端的深度学习模型通过编码器对所述输入序列进行特征提取，并根据特征提取结果计算对应的预测序列的分布结果；

通过解码器对所述分布结果进行解码，再对解码结果进行线性变换和softmax归一化处理后，得到所述输入序列的预测结果。

5.根据权利要求4所述的基于深度学习模型的语音交互系统，其特征在于，所述预测序列的获取过程为：

使用扩展标签集对收集的文本文件的序列进行标注得到第一序列集，将所述第一序列集中可以通过映射函数转换为真实序列的序列确定为预测序列。

6.根据权利要求5所述的基于深度学习模型的语音交互系统，其特征在于，所述自然语言生成模块在生成回复文本时，包括以下步骤：

根据接收的所述语义分析结果确定需要回复的信息，并根据所述需要回复的信息确定合理的文本顺序；

根据所述文本顺序确定单个句子中所呈现的文本信息，根据所述单个句子的文本信息选择相应的多个单词和短语；

识别所述需要回复的信息所属的领域，并根据所述领域从所述多个单词和短语中选择对应领域的单词和短语；

将选择的所述对应领域的单词和短语组成格式正确的句子。

7.根据权利要求1至6任一项所述的基于深度学习模型的语音交互系统，其特征在于，所述对话管理模块和自然语言生成模块的执行方式为并行执行或同步执行。