[发明专利]一种多媒体语音识别装置及方法

权利要求书

1.一种多媒体语音识别装置，其特征在于，包括至少一个第二声音采集模块、摄像装置以及控制模块、至少一个第一声音采集模块，所述第一声音采集模块分布环绕所述装置本体，所述控制模块包含图片识别单元、语音识别单元以及语义理解单元，其中：

所述第一声音采集模块，用于采集智能用户设备设定区域内的声音数据，并将所述声音数据发送给控制模块，所述声音数据是用户所做动作发出的声音，或者是智能用户设备设定区域环境的声音；

所述控制模块，用于接收所述声音数据，在分析出所述声音数据中包含用户所做的动作发出的声音时，确定智能用户设备的设定区域内有用户存在；

所述控制模块，具体用于在确定出智能用户设备的设定区域内有用户存在时，控制所述智能用户设备的可转动部件设置摄像装置的一面面向所述用户，并关闭所述第一声音采集模块，开启所述第二声音采集模块；

第二声音采集模块，用于在所述控制模块关闭所述第一声音采集模块后，获得声音数据；

摄像装置，用于获取视频信息；

所述控制模块，用于在确定出所述第二声音采集模块采集的声音数据跃变时，提取当前摄像装置中获取的所述视频信息中的图片；并结合所述第二声音采集模块采集的声音数据和所述图片，识别所述第二声音采集模块采集的声音数据对应的用户发送的语音指令；

所述图片识别单元，用于对获取的图片中的人体信息进行识别，形成相关联的释义信息发送给所述语义理解单元，其中，所述人体信息至少包括唇读、人脸、表情和动作；

所述语音识别单元，用于对接收到的所述语音指令进行识别，形成相关语言信息提供给所述语义理解单元；

所述语义理解单元，用于接收所述图片识别单元的图片识别结果，以及接收所述语音识别单元的语音识别结果，根据图片识别结果和语音识别结果综合判断语义含义。

2.如权利要求1所述的装置，其特征在于，所述装置还包括至少一个红外阵列感应模块，所述红外阵列感应模块分布环绕所述装置本体，用于采集红外数据，并将所述红外数据发送给所述控制模块；

所述控制模块，具体用于接收所述红外数据，在分析出所述红外数据中包含人体信息时，确定智能用户设备的设定区域内有用户存在。

3.如权利要求1所述的装置，其特征在于，所述控制模块，具体用于若所述语音识别结果中，包含的词语少于第一数值，且所述词语的含义多于第二数值时，为所述语音识别结果的每种释义标注概率，并展示概率值最高的语音识别结果。

4.一种多媒体语音识别方法，其特征在于，包括：

在确定出智能用户设备的设定区域内有用户存在时，控制所述智能用户设备的可转动部件设置摄像装置的一面面向所述用户；

确定出智能用户设备的设定区域内有用户存在，包括：利用第一声音采集模块获得所述智能用户设备设定区域内的声音数据，所述声音数据是用户所做动作发出的声音，或者是智能用户设备设定区域环境的声音；在分析出所述声音数据中包含用户所做的动作发出的声音时，确定智能用户设备的设定区域内有用户存在；

利用第二声音采集模块获得声音数据，所述第二声音采集模块是在所述第一声音采集模块关闭后开启的；以及获取视频信息；

在确定出所述第二声音采集模块采集的声音数据跃变时，提取当前摄像装置中获取的所述视频信息中的图片；并

结合所述第二声音采集模块采集的声音数据和所述图片，识别所述第二声音采集模块采集的声音数据对应的用户发送的语音指令；

结合所述第二声音采集模块采集的声音数据和所述图片，识别所述第二声音采集模块采集的声音数据对应的用户发送的语音指令，具体包括：对获取的图片中的人体信息进行识别，形成相关联的释义信息，其中，所述人体信息至少包括唇读、人脸、表情和动作；对接收到的所述语音指令进行识别，形成相关语言信息；根据图片识别结果和语音识别结果综合判断语义含义。

5.如权利要求4所述的方法，其特征在于，确定出智能用户设备的设定区域内有用户存在，包括：

获得红外数据；

在所述红外数据中包含人体信息时，确定智能用户设备的设定区域内有用户存在。