[发明专利]一种声音获取方法、装置、设备及系统

权利要求书

1.一种声音获取方法，其特征在于，包括：

获取图像采集设备采集的人员唇部图像；

通过对所述唇部图像进行分析，判断所述人员是否存在唇部动作；

如果存在，则获取声音采集设备在所述人员存在唇部动作后采集的声音；

对所述唇部图像进行特征提取，得到所述人员的唇语特征，并对所获取的声音进行特征提取，得到该人员的声音特征；

将所述声音特征和所述唇语特征分别输入至各自对应的卷积神经网络，所述卷积神经网络与双向门控循环单元相连接，所述双向门控循环单元与全连接层相连接，所述卷积神经网络的输出结果输入至所述双向门控循环单元中，所述双向门控循环单元的输出结果输入至所述全连接层，所述全连接层的输出结果为所述人员发出的交互信息。

2.根据权利要求1所述的方法，其特征在于，所述获取声音采集设备在所述人员存在唇部动作后采集的声音，包括：

确定所述人员相对于声音采集设备的方向；

根据所确定的方向，生成声音采集设备的采集参数；

向所述声音采集设备发送包含所述采集参数的获取指令；

接收所述声音采集设备根据所述获取指令采集的声音。

3.根据权利要求1所述的方法，其特征在于，在所述获取声音采集设备在所述人员存在唇部动作后采集的声音之后，还包括：

基于所获取的声音及所述唇部图像，执行第一类交互任务。

4.根据权利要求3所述的方法，其特征在于，所述基于所获取的声音及所述唇部图像，执行第一类交互任务，包括：

基于所述全连接层的输出结果执行第一类交互任务。

5.根据权利要求4所述的方法，其特征在于，所述基于所述全连接层的输出结果执行第一类交互任务，包括：

将所述唇语特征和所述声音特征发送至云端服务器，以使所述云端服务器将所述唇语特征和所述声音特征输入至各自对应的卷积神经网络，所述卷积神经网络与双向门控循环单元相连接，所述双向门控循环单元与全连接层相连接，所述卷积神经网络的输出结果输入至所述双向门控循环单元中，所述双向门控循环单元的输出结果输入至所述全连接层，得到所述全连接层的输出结果，并获取所述全连接层的输出结果对应的交互资源；

接收所述云端服务器发送的交互资源；基于所述交互资源执行第一类交互任务。

6.根据权利要求1所述的方法，其特征在于，在所述获取声音采集设备在所述人员存在唇部动作后采集的声音之后，还包括：

将所获取的声音与预先存储的多个声音模型进行匹配；

执行匹配成功的声音模型对应的第二类交互任务。

7.一种声音获取装置，其特征在于，包括：

第一获取模块，用于获取图像采集设备采集的人员唇部图像；

判断模块，用于通过对所述唇部图像进行分析，判断所述人员是否存在唇部动作；如果存在，则触发第二获取模块；

第二获取模块，用于获取声音采集设备在所述人员存在唇部动作后采集的声音；对所述唇部图像进行特征提取，得到所述人员的唇语特征，并对所获取的声音进行特征提取，得到该人员的声音特征；将所述声音特征和所述唇语特征分别输入至各自对应的卷积神经网络，所述卷积神经网络与双向门控循环单元相连接，所述双向门控循环单元与全连接层相连接，所述卷积神经网络的输出结果输入至所述双向门控循环单元中，所述双向门控循环单元的输出结果输入至所述全连接层，所述全连接层的输出结果为所述人员发出的交互信息。

8.根据权利要求7所述的装置，其特征在于，所述第二获取模块，具体用于：

确定所述人员相对于声音采集设备的方向；

根据所确定的方向，生成声音采集设备的采集参数；

向所述声音采集设备发送包含所述采集参数的获取指令；

接收所述声音采集设备根据所述获取指令采集的声音。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第一交互模块，用于基于所获取的声音及所述唇部图像，执行第一类交互任务。