[发明专利]一种语音交互方法、装置及设备

权利要求书

1.一种语音交互方法，其特征在于，包括：

通过音频采集装置获取音频信息，从所述音频信息中提取用户的语音信息；

执行所述语音信息相匹配的操作指令，返回所述操作指令执行的结果；

通过摄像装置获取用户的面部图像信息，从所述面部图像信息中提取用户 面部表情的图像特征进行处理，识别出用户的表情；

根据所述用户的表情判断用户对所述执行结果的反应，并给出对应的处理 方案。

2.根据权利要求1所述的方法，其特征在于，所述通过音频采集装置获取 音频信息，从所述音频信息中提取用户的语音信息之后，还包括：

开启摄像装置，采集用户脸部图像信息，通过人脸识别技术确定出口型与 所述语音信息对应的用户。

3.根据权利要求1所述的方法，其特征在于，所述根据所述用户的表情判 断用户对所述执行结果的反应，并给出对应的处理方案，包括：

如果所述用户的表情为高兴，则判断用户对所述执行结果比较满意，感谢 客户的使用；

如果所述用户的表情比较沮丧或者失望，则及时终止执行所述操作指令的 执行，提供用户预设个数的候选项，或者，再次询问用户语音交互的细节内容；

如果所述用户的表情比较烦躁，则自动语音安抚用户，及时进行道歉，并 收集用户对语音体验的改进建议。

4.根据权利要求2所述的方法，其特征在于，所述根据所述用户的表情判 断用户对所述执行结果的反应，并给出对应的处理方案之后，还包括：

根据所述用户对执行结果的反应确定出令用户不满意的执行结果，对语音 数据库进行修正或升级。

5.根据权利要求1所述的方法，其特征在于，所述图像特征包括眼睛、眼 眉、嘴巴和面部颜色；所述用户的表情包括：微笑、大笑、兴奋、好奇、愤怒 及惊奇。

6.一种语音交互装置，其特征在于，包括：

语音信息提取单元，用于通过音频采集装置获取音频信息，从所述音频信 息中提取用户的语音信息；

操作指令执行单元，用于执行所述语音信息相匹配的操作指令，返回所述 操作指令执行的结果；

用户表情识别单元，用于通过摄像装置获取用户的面部图像信息，从所述 面部图像信息中提取用户面部表情的图像特征进行处理，识别出用户的表情；

用户反应判断单元，用于根据所述用户的表情判断用户对所述执行结果的

反应，并给出对应的处理方案。

7.根据权利要求6所述的语音交互装置，其特征在于，所述装置还包括：

用户确定单元，用于开启摄像装置，采集用户脸部图像信息，通过人脸识 别技术确定出口型与所述语音信息对应的用户。

8.根据权利要求6所述的语音交互装置，其特征在于，所述用户反应判断 单元包括：

第一判断单元，用于如果所述用户的表情为高兴，则判断用户对所述执行 结果比较满意，感谢客户的使用；

第二判断单元，用于如果所述用户的表情比较沮丧或者失望，则及时终止 执行所述操作指令的执行，提供用户预设个数的候选项，或者，再次询问用户 语音交互的细节内容；

第三判断单元，用于如果所述用户的表情比较烦躁，则自动语音安抚用户， 及时进行道歉，并收集用户对语音体验的改进建议。

9.根据权利要求7所述的语音交互装置，其特征在于，所述装置还包括： 语音数据库升级单元，用于根据所述用户对执行结果的反应确定出令用户不满 意的执行结果，对语音数据库进行修正或升级。

10.根据权利要求6所述的语音交互装置，其特征在于，所述图像特征包 括眼睛、眼眉、嘴巴和面部颜色；所述用户的表情包括：微笑、大笑、兴奋、 好奇、愤怒及惊奇。

11.一种语音交互设备，其特征在于，包括音频采集装置、摄像装置及根 据权利要求6至10任一项所述的语音交互装置。