[发明专利]小样本视频动作识别方法及装置

权利要求书

1.一种小样本视频动作识别方法，其特征在于，包括：

提取待识别视频的视频特征；

将所述待识别视频的视频特征输入至胶囊图神经网络，得到所述胶囊图神经网络输出的所述待识别视频的动作类别；

所述胶囊图神经网络基于小样本视频的视频特征及各视频的动作类别训练得到；所述胶囊图神经网络用于基于所述待识别视频的视频特征以及所述待识别视频的视频特征与其它视频的视频特征之间的关系，确定所述待识别视频的视频特征以及其它视频的视频特征对应胶囊的重要程度，并基于各胶囊的重要程度确定各胶囊的激活值，以及基于各胶囊的激活值确定所述待识别视频的动作类别。

2.根据权利要求1所述的小样本视频动作识别方法，其特征在于，将所述待识别视频的视频特征输入至胶囊图神经网络，得到所述胶囊图神经网络输出的所述待识别视频的动作类别，包括：

基于所述胶囊图神经网络的图卷积层，以各视频的视频特征作为节点，以各视频的视频特征之间的关系为边，并对各层的节点特征进行堆叠，得到各视频的视频特征对应的胶囊；

基于所述胶囊图神经网络的视频间路由层，对各胶囊进行注意力计算，确定各胶囊的重要程度，并基于各胶囊的重要程度对各胶囊的初始姿势矩阵进行重构，得到各胶囊的重构姿势矩阵；

基于所述胶囊图神经网络的视频内路由层，根据各胶囊的重构姿势矩阵，确定各胶囊的激活值；

基于所述胶囊图神经网络的动作分类层，根据各胶囊的激活值，确定所述待识别视频的动作类别。

3.根据权利要求2所述的小样本视频动作识别方法，其特征在于，各胶囊的重构姿势矩阵基于如下公式确定：

其中，表示各胶囊的重构姿势矩阵，表示将各胶囊的初始姿势矩阵连接起来，表示各胶囊的初始姿势矩阵，F_att表示两个全连接层，通过计算得到的第i个视频第k个胶囊的重要程度。

4.根据权利要求2所述的小样本视频动作识别方法，其特征在于，各胶囊的激活值基于如下公式确定：

其中，表示各胶囊的激活值，W_k表示权重矩阵，U_i表示第i个视频的视频特征对应的胶囊集合。

5.根据权利要求1至4任一项所述的小样本视频动作识别方法，其特征在于，各视频特征之间的关系基于如下公式确定：

A_i,j＝MLP(||x_i-x_j||₁)

其中，A_i,j表示第i个视频特征与第j个视频特征之间的关系，x_i表示第i个视频特征，x_j表示第j个视频特征。

6.根据权利要求1至4任一项所述的小样本视频动作识别方法，其特征在于，所述胶囊图神经网络的损失函数基于如下公式确定：

其中，Loss表示所述胶囊图神经网络的损失函数，T表示查询集样本数，N表示动作类别数，K表示各类动作对应的支持集样本数，Y_i表示动作类别，表示第i个视频的第h个胶囊的激活值。

7.一种小样本视频动作识别装置，其特征在于，包括：

确定单元，用于提取待识别视频的视频特征；

识别单元，用于将所述待识别视频的视频特征输入至胶囊图神经网络，得到所述胶囊图神经网络输出的所述待识别视频的动作类别；

所述胶囊图神经网络基于小样本视频的视频特征及各视频的动作类别训练得到；所述胶囊图神经网络用于基于所述待识别视频的视频特征以及所述待识别视频的视频特征与其它视频的视频特征之间的关系，确定所述待识别视频的视频特征以及其它视频的视频特征对应胶囊的重要程度，并基于各胶囊的重要程度确定各胶囊的激活值，以及基于各胶囊的激活值确定所述待识别视频的动作类别。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述小样本视频动作识别方法。