[发明专利]一种机器人指令识别方法、装置及电子设备和存储介质

说明书

本申请公开了一种机器人指令识别方法、装置及一种电子设备和计算机可读存储介质，该方法包括：获取训练视频和所述训练视频对应的语音片段，并预测所述训练视频对应的指令标签；从所述语音片段中提取语音特征，并基于所述语音特征和所述指令标签训练神经网络；利用训练完成的神经网络进行指令识别。本申请提供的机器人指令识别方法，利用训练视频预测语音片段的指令标签，基于指令标签和语音特征进行神经网络的训练。在训练过程中，不需要过多的数据集，操作人员不需要拥有专业的知识背景。在识别阶段，可以通过完整语音直接识别机器人指令，不需要其他输入，可以很随意的切换语种而不需要额外的人工修正数据集，减少制作数据集的工作量。

技术领域

本申请涉及机器人技术领域，更具体地说，涉及一种机器人指令识别方法、装置及一种电子设备和一种计算机可读存储介质。

背景技术

在相关技术中，通过输入特定的编程的文字和机器人指令，使机器人做出对应的动作。而语音输入作为指令仍然是业内的一个难点，现有的语音交互方案现行的技术存在以下几种：基于完整语句语音识别后进行文字处理、基于特定少数指令做语音智能学习处理、基于特定音素提取从而获取指令的方法。基于完整语句语音识别后进行文字处理的方案需要庞大的数据集并且同时需要庞大的校对和打数据标签等以供机器可以学习。基于特定少数指令做语音智能学习处理虽然需求的数据量较少，但是在真实使用中人机交互性并不好，它只能识别特定少数的短语音指令。基于特定音素提取从而获取指令的方法为传统的方法，但是其需要很强的专业背景，故不适合大规模使用。除此之外，现行的机器人还存在从一种语言切换到另外一种语言便无法运行的情况。

因此，如何在不需要专业的技术背景的前提下，只需少量操作便可学习其他语言的语音、提取机器人动作指令是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的在于提供一种机器人指令识别方法、装置及一种电子设备和一种计算机可读存储介质，在不需要专业的技术背景的前提下，只需少量操作便可学习其他语言的语音、提取机器人动作指令。

为实现上述目的，本申请提供了一种机器人指令识别方法，包括：

获取训练视频和所述训练视频对应的语音片段，并预测所述训练视频对应的指令标签；

从所述语音片段中提取语音特征，并基于所述语音特征和所述指令标签训练神经网络；

利用训练完成的神经网络进行指令识别。

其中，所述预测所述训练视频对应的指令标签，包括：

将所述训练视频以预设采样间隔输入卷积神经网络中以便提取所述训练视频的视频特征；

利用双流三维卷积神经网络对所述视频特征进行动作预测，将预测得到的动作类型作为所述训练视频对应的指令标签。

其中，所述神经网络包括编码器-解码器神经网络，所述编码器具体为双向长短期记忆网络，所述解码器具体为门控循环单元网络。

其中，从所述语音片段中提取语音特征，并基于所述语音特征和所述指令标签训练神经网络，包括：

将所述语音片段转换为MFCC特征，将所述MFCC特征输入神经网络中以便提取所述语音片段对应的语音特征；

将所述语音特征输入分类器中得到语音预测结果，根据所述语音预测结果和所述指令标签计算损失函数；

利用所述损失函数训练所述神经网络得到训练完成的神经网络。

其中，所述利用训练完成的神经网络进行指令识别，包括：

获取目标语音片段，将所述语音片段转换为目标MFCC特征；

将所述目标MFCC特征输入训练完成的神经网络中以便提取所述目标语音片段对应的目标语音特征；