[发明专利]一种用于智能机器人的人机交互方法及装置

权利要求书

1.一种用于智能机器人的人机交互方法，其特征在于，包括：

交互信息获取步骤，获取用户输入的多模态交互信息；

字符识别步骤，对所述多模态交互信息进行解析，根据解析结果进行视觉采集，并对视觉采集到的图像进行光学字符识别，得到光学字符识别结果；

反馈信息生成步骤，根据所述光学字符识别结果生成多模态反馈信息并输出。

2.如权利要求1所述的方法，其特征在于，在所述反馈信息生成步骤中，根据所述解析结果生成用户意图信息，并根据所述光学字符识别结果和用户意图信息，生成所述多模态反馈信息。

3.如权利要求1或2所述的方法，其特征在于，在所述反馈信息生成步骤中，根据所述光学字符识别结果生成相应的反馈信息，并判断该反馈信息是否正常，如果该反馈信息正常，则利用TTS引擎朗读该反馈信息。

4.如权利要求1或2所述的方法，其特征在于，在所述反馈信息生成步骤中，还判断所述光学字符识别结果是否正常，如果所述光学字符识别结果正常，则将所述光学字符识别结果发送云端服务器以由所述云端服务器根据所述光学字符识别结果进行商品检索，并根据所述云端服务器发送来的商品检索结果生成所述多模态反馈信息。

5.如权利要求1～4中任一项所述的方法，其特征在于，还包括：

在对所述多模态交互信息进行解析时，获取多模态交互信息中的识别意图，并开启光学字符识别应用，所述光学字符识别应用运行在机器人操作系统中，所述机器人操作系统装载于所述智能机器人上。

6.一种用于智能机器人的人机交互装置，其特征在于，包括：

交互信息获取模块，其用于获取用户输入的多模态交互信息；

字符识别模块，其用于对所述多模态交互信息进行解析，根据解析结果进行视觉采集，并对视觉采集到的图像进行光学字符识别，得到光学字符识别结果；

反馈信息生成模块，其用于根据所述光学字符识别结果生成多模态反馈信息并输出。

7.如权利要求6所述的装置，其特征在于，所述反馈信息生成模块配置为根据所述解析结果生成用户意图信息，并根据所述光学字符识别结果和用户意图信息，生成所述多模态反馈信息。

8.如权利要求6或7所述的装置，其特征在于，所述反馈信息生成模块配置为根据所述光学字符识别结果生成相应的反馈信息，并判断该反馈信息是否正常，如果该反馈信息正常，则利用TTS引擎朗读该反馈信息。

9.如权利要求6或7所述的装置，其特征在于，所述字符识别模块则配置为还判断所述光学字符识别结果是否正常，如果所述光学字符识别结果正常，所述字符识别模块则配置为将所述光学字符识别结果发送云端服务器以由所述云端服务器根据所述光学字符识别结果进行商品检索，所述反馈信息生成模块配置为根据所述云端服务器发送来的商品检索结果生成所述多模态反馈信息。

10.如权利要求6～9中任一项所述的装置，其特征在于，所述装置在对所述多模态交互信息进行解析时，获取多模态交互信息中的识别意图，并开启光学字符识别应用，所述光学字符识别应用运行在机器人操作系统中，所述机器人操作系统装载于所述智能机器人上。