[发明专利]递归神经网络的训练方法、识别方法、装置及处理设备

说明书

本发明提供了一种递归神经网络的训练方法、识别方法、装置及处理设备，涉及动作识别技术领域，该方法包括：获取训练样本，训练样本包括视频的多帧图像序列及视频对应的动作标识；对多帧图像序列进行特征提取，得到图像序列特征，图像序列特征包括每帧图像的特征；将图像序列特征输入递归神经网络进行动作分类，获得每帧图像的动作分类概率；其中，动作分类包含无动作类；基于动作分类概率，根据连接时序分类方法计算损失函数；通过对损失函数进行反向传播以训练递归神经网络。本发明实施例可以对动作之间的连接关系进行更好的学习，对于时间序列的动作预测更为准确，从而可以对动作进行更细粒度，更准确的动作识别。

技术领域

本发明涉及动作识别技术领域，尤其是涉及一种递归神经网络的训练方法、识别方法、装置及处理设备。

背景技术

现有的基于神经网络的动作识别技术基本分为两类：基于单帧图像的识别方法和基于多帧图像的识别方法。

其中，基于单帧图像的识别方法，直接对视频中的单帧使用CNN(ConvolutionalNeural Network，卷积神经网络)进行特征提取，直接进行动作的分类识别。其优点是训练速度快，收敛快，对于一些静态特征明显的动作有较好的分类效果，缺点是忽略了时间信息，容易对场景多拟合而单纯得变成了场景识别，如开和关的动作就无法得到区分。基于多帧图像的识别方法，对动作视频序列进行抽帧组成图像序列进行训练，使用CNN提取图像特征并加入注意力等机制学习时间信息，同时还可以加入长短期记忆模块LSTM(Long Short-Term Memory)等RNN(Recurrent Neural Network，递归神经网络)模块对时间维度信息进行学习和综合。然而其输出仍然是单独的动作分类标签，将一个图像序列分为一个动作，而无法进行逐帧的动作识别预测，也无法对动作的时序转换关系进行学习。

针对上述基于多帧图像的识别方法存在的问题，还未提出有效解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种递归神经网络的训练方法、识别方法、装置及处理设备，可以对动作之间的时序转换关系进行学习，从而对动作进行更细粒度，更准确的动作识别。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种递归神经网络的训练方法，所述方法包括：获取训练样本，所述训练样本包括视频的多帧图像序列及所述视频对应的动作标识；对所述多帧图像序列进行特征提取，得到图像序列特征，所述图像序列特征包括每帧图像的特征；将所述图像序列特征输入递归神经网络进行动作分类，获得所述每帧图像的动作分类概率；其中，动作分类包含无动作类；基于所述动作分类概率，根据连接时序分类方法计算损失函数；通过对所述损失函数进行反向传播以训练递归神经网络。

进一步，所述对所述多帧图像序列进行特征提取，得到图像序列特征的步骤，包括：将所述多帧图像序列输入卷积神经网络进行空间特征提取；将提取得到的空间特征输入长短期记忆模块进行时间特征提取；将提取得到的时间特征作为图像序列特征。

进一步，所述将所述图像序列特征输入递归神经网络进行动作分类，获得所述每帧图像的动作分类概率的步骤，包括：将所述每帧图像的特征输入递归神经网络的Softmax层，得到每个时间所述每帧图像的动作分类概率。

进一步，所述基于所述动作分类概率，根据连接时序分类方法计算损失函数的步骤，包括：将所述动作分类概率乘以所述动作分类概率对应的时间，计算所述多帧图像序列的分类概率；对所述多帧图像序列的分类概率通过动态规划方式，使用连接时序分类方法计算动作标识错误率；将所述动作标识错误率作为损失函数。