[发明专利]一种机器人指令识别方法、装置及电子设备和存储介质

权利要求书

1.一种机器人指令识别方法，其特征在于，包括：

获取训练视频和所述训练视频对应的语音片段，并预测所述训练视频对应的指令标签；

从所述语音片段中提取语音特征，并基于所述语音特征和所述指令标签训练神经网络，所述神经网络包括编码器-解码器神经网络，所述编码器具体为双向长短期记忆网络，所述解码器具体为门控循环单元网络；

利用训练完成的神经网络进行指令识别；

其中，从所述语音片段中提取语音特征，并基于所述语音特征和所述指令标签训练神经网络，包括：

将所述语音片段转换为MFCC特征，将所述MFCC特征输入神经网络中以便提取所述语音片段对应的语音特征；

将所述语音特征输入分类器中得到语音预测结果，根据所述语音预测结果和所述指令标签计算损失函数；

利用所述损失函数训练所述神经网络得到训练完成的神经网络。

2.根据权利要求1所述机器人指令识别方法，其特征在于，所述预测所述训练视频对应的指令标签，包括：

将所述训练视频以预设采样间隔输入卷积神经网络中以便提取所述训练视频的视频特征；

利用双流三维卷积神经网络对所述视频特征进行动作预测，将预测得到的动作类型作为所述训练视频对应的指令标签。

3.根据权利要求1所述机器人指令识别方法，其特征在于，所述利用训练完成的神经网络进行指令识别，包括：

获取目标语音片段，将所述语音片段转换为目标MFCC特征；

将所述目标MFCC特征输入训练完成的神经网络中以便提取所述目标语音片段对应的目标语音特征；

将所述目标语音特征输入所述分类器中以便识别所述目标语音片段对应的指令。

4.一种机器人指令识别装置，其特征在于，包括：

预测模块，用于获取训练视频和所述训练视频对应的语音片段，并预测所述训练视频对应的指令标签；

训练模块，用于从所述语音片段中提取语音特征，并基于所述语音特征和所述指令标签训练神经网络，所述神经网络包括编码器-解码器神经网络，所述编码器具体为双向长短期记忆网络，所述解码器具体为门控循环单元网络；

识别模块，用于利用训练完成的神经网络进行指令识别；

其中，所述训练模块包括：

第一提取单元，用于通过MFCC将所述语音片段转换为特征向量，将所述特征向量输入神经网络中以便提取所述语音片段对应的语音特征；

计算单元，用于将所述语音特征输入分类器中得到语音预测结果，根据所述语音预测结果和所述指令标签计算损失函数；

训练单元，用于利用所述损失函数训练所述神经网络得到训练完成的神经网络。

5.根据权利要求4所述机器人指令识别装置，其特征在于，所述识别模块包括：

转换单元，用于获取目标语音片段，通过MFCC将所述目标语音片段转换为目标特征向量；

第二提取单元，用于将所述目标特征向量输入训练完成的神经网络中以便提取所述目标语音片段对应的目标语音特征；

识别单元，用于将所述目标语音特征输入所述分类器中以便识别所述目标语音片段对应的指令。

6.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述机器人指令识别方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述机器人指令识别方法的步骤。