[发明专利]一种基于语音识别的AR交互系统和方法

权利要求书

1.一种基于语音识别的AR交互系统，其特征在于，包括运算处理器终端和AR端，所述运算处理器终端独立于AR端并进行数据传输连接，所述AR端用于采集实景数据和用户交互信息并用于音频与视频信号的输出，所述运算处理器终端用于处理用户交互信息以及将处理结果结合AR端传来的实景图像生成虚拟-现实图像，并将所述虚拟-现实图像和音频信息分别反馈给AR端的视频与音频输出设备。

2.根据权利要求1所述的一种基于语音识别的AR交互系统，其特征在于，所述采集实景数据和用户交互信息包括：采集AR端实时场景图像、周围环境信息、用户的动作信息和用户的语音信息。

3.根据权利要求1所述的一种基于语音识别的AR交互系统，其特征在于，所述AR端包括：数据采集模块、实景采集模块、实景处理模块、语音输出模块和显示模块，其中，

所述数据采集模块用于收集周围空间环境信息、用户的动作和语音信息，所述数据采集模块将采集的信息通过信号连接传输给运算处理器终端处理；

所述实景采集模块连接所述实景处理模块，所述实景采集模块用于采集周围空间的实景图像；

所述实景处理模块用于对采集的空间实景图像进行调整处理，将调整处理后的空间实景图像通过信号连接传输给运算处理器终端作图像生成处理；

所述语音输出模块用于将运算处理器终端中的结果进行语音输出；

所述显示模块用于将运算处理器终端中最终生成的虚拟-现实结合的立体图像作视频输出。

4.根据权利要求3所述的一种基于语音识别的AR交互系统，其特征在于，所述运算处理器终端由数据预处理模块、语音处理模块、数据处理模块、场景生成模块、图像生成模块和存储模块构成，其中，

所述数据预处理模块用于将数据采集模块传来的数据进行实时的跟踪定位，并进行分析处理；

所述语音处理模块用于对数据预处理模块传来的用户语音数据通过基于深度学习的算法进行语音模型的生成和检验；

所述数据处理模块用于分析语音处理模块的结果，根据结果，从存储模块调取相应的知识库和对话库分别作图像输出和语音输出；

所述场景生成模块用于将数据处理模块的结果生成一个虚拟的场景；

所述图像生成模块用于将所述虚拟的场景与所述实景处理模块传来的空间实景图像进行叠加处理并输出给显示模块；

所述存储模块用于存储知识库和对话库，所述知识库和对话库用于存储相关应用场景的数据信息和对话信息。

5.一种基于语音识别的AR交互系统的交互方法，其特征在于，包含以下步骤：

S1、构建知识库与对话库，将相关应用场景的对话库存储于存储模块中；

S2、开启运算处理器终端和AR端，并且保证二者通信模块之间的可靠传输；

S3、用户佩戴AR设备，用户调整位置，如行走等，能够感受到虚拟场景和真实场景；

S4、用户根据虚拟场景提示或者主动通过音频输入外设，输入语音指令；

S5、通过在运算处理器终端的语音语义等一系列场景控制的处理，用户就会在AR端音频输出设备，通过耳机接收到应答信息，同时从显示设备获取虚拟场景的应答动作和表情。