[发明专利]一种基于会议机器人的演示文稿控制方法、装置、存储介质及终端

权利要求书

1.一种基于会议机器人的演示文稿控制方法，其特征在于，所述方法包括：

利用摄像头采集图像帧生成图像集合，所述摄像头为深度摄像头；

利用麦克风阵列采集语音数据；

基于识别方法对所述图像集合和所述语音数据进行识别，生成控制指令，所述识别方法为手势识别和语音识别；

通过所述控制指令对演示文稿进行控制显示；其中，

所述基于识别方法对所述图像集合进行识别，生成控制指令，包括：

将所述图像集合中各图像帧输入预设注意力区域判别模型中，获取目标区域；

基于所述目标区域进行手势识别，生成控制指令；其中，

所述将所述图像集合中各图像帧输入预设注意力区域判别模型中，获取目标区域，包括：

将所述图像集合中各图像帧输入预设注意力区域判别模型中，对所述图像集合中各图像帧对应的区域空间进行加权求和，生成加权后的区域空间；其中，

所述预设注意力区域判别模型为一种基于视觉注意力的深度卷积神经网络模型，所述基于视觉注意力的深度卷积神经网络模型是将注意力机制融入到双流卷积神经网络中生成的；

在所述区域空间中获取注意力大于预设阈值的区域；

将所述注意力大于预设阈值的区域确定为目标区域；其中，

所述基于所述目标区域进行手势识别，生成控制指令，包括：

将所述目标区域输入手势识别模型中，获取手势集合；

输出所述手势集合中各手势对应的识别概率值；

将所述识别概率值最大的手势确定为目标手势；

基于所述目标手势，生成控制指令。

2.根据权利要求1所述的方法，其特征在于，所述基于识别方法对所述图像集合或所述语音数据进行识别，生成控制指令，包括：

将所述语音数据输入语音识别模块中进行识别，转换生成文字信息；

获取所述文字信息中的关键字；

将所述关键字和预设关键字进行匹配，生成匹配结果集合；

在所述匹配结果集合中获取目标匹配结果；

根据所述目标匹配结果生成控制指令。

3.根据权利要求1所述的方法，其特征在于，所述手势包括向上移动、向下移动、向左移动、向右移动、向前移动、向后移动、顺时针方向圆周移动、逆时针方向圆周移动和摆动。

4.一种基于会议机器人的演示文稿控制装置，其特征在于，所述装置包括：

图像采集模块，用于利用摄像头采集图像帧生成图像集合，所述摄像头为深度摄像头；

语音采集模块，用于利用麦克风阵列采集语音数据；

指令生成模块，用于基于识别方法对所述图像集合和所述语音数据进行识别，生成控制指令，所述识别方法为手势识别和语音识别；

控制显示模块，用于通过所述控制指令对演示文稿进行控制显示；其中，

所述指令生成模块具体用于：

将所述图像集合中各图像帧输入预设注意力区域判别模型中，获取目标区域；

基于所述目标区域进行手势识别，生成控制指令；其中，

所述将所述图像集合中各图像帧输入预设注意力区域判别模型中，获取目标区域，包括：

将所述图像集合中各图像帧输入预设注意力区域判别模型中，对所述图像集合中各图像帧对应的区域空间进行加权求和，生成加权后的区域空间；其中，

所述预设注意力区域判别模型为一种基于视觉注意力的深度卷积神经网络模型，所述基于视觉注意力的深度卷积神经网络模型是将注意力机制融入到双流卷积神经网络中生成的；

在所述区域空间中获取注意力大于预设阈值的区域；

将所述注意力大于预设阈值的区域确定为目标区域；其中，

所述基于所述目标区域进行手势识别，生成控制指令，包括：

将所述目标区域输入手势识别模型中，获取手势集合；

输出所述手势集合中各手势对应的识别概率值；

将所述识别概率值最大的手势确定为目标手势；

基于所述目标手势，生成控制指令。

5.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～3任意一项的方法步骤。

6.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～3任意一项的方法步骤。