[发明专利]动作识别方法、装置、电子设备和存储介质

权利要求书

1.一种动作识别方法，包括：

获取关键点序列，并提取所述关键点序列的第一时空特征，所述关键点序列包括多个关键点的时间维度和空间维度上的信息，所述第一时空特征指的是所述关键点序列的时间维度和空间维度结合得到的特征；

对所述第一时空特征进行不同时间粒度的特征提取，得到每个时间粒度对应的第二时空特征；

基于每个所述时间粒度对应的第二时空特征，获取所述关键点序列的目标识别动作；

所述基于每个所述时间粒度对应的第二时空特征，获取所述关键点序列的目标识别动作，包括：

基于任一时间粒度的所述第二时空特征，获取所述关键点序列的候选识别动作，并从多个候选识别动作中选取所述目标识别动作。

2.根据权利要求1所述的方法，其中，所述对所述第一时空特征进行不同时间粒度的特征提取，得到每个时间粒度对应的第二时空特征，包括：

针对每个所述时间粒度，对所述第一时空特征基于所述时间粒度对应的采样率进行降采样，得到所述时间粒度下的降采样时空特征；

基于所述时间粒度下的降采样时空特征，得到所述时间粒度对应的所述第二时空特征。

3.根据权利要求2所述的方法，其中，所述基于所述时间粒度下的降采样时空特征，得到所述时间粒度对应的所述第二时空特征，包括：

基于任一所述降采样时空特征对应的所述采样率，获取所述任一所述降采样时空特征的特征提取结构；

基于所述任一所述降采样时空特征的特征提取结构，对所述任一所述降采样时空特征进行特征提取，获取所述第二时空特征。

4.根据权利要求3所述的方法，其中，所述特征提取结构包括统一时空图卷积G3D层，所述G3D层的数量与所述采样率正相关。

5.根据权利要求1-4任一项所述的方法，其中，所述基于每个所述时间粒度对应的第二时空特征，获取所述关键点序列的目标识别动作，包括：

获取任一时间粒度对应的所述第二时空特征在每个动作识别类别下的候选识别分数；

针对任一动作识别类别，将每个所述时间粒度对应的所述第二时空特征的所述候选识别分数进行加权平均，获取所述关键点序列在所述任一动作识别类别下的目标识别分数；

从所述目标识别分数中获取最大目标识别分数，并将所述最大目标识别分数对应的所述动作识别类别确定为所述目标识别动作。

6.根据权利要求2-4任一项所述的方法，其中，所述基于每个所述时间粒度对应的第二时空特征，获取所述关键点序列的目标识别动作之前，包括：

根据每个所述时间粒度对应的所述采样率，对多个所述第二时空特征进行特征融合。

7.根据权利要求6所述的方法，其中，所述根据每个所述时间粒度对应的所述采样率，对多个所述第二时空特征进行特征融合，包括：

将多个所述第二时空特征按照稀疏度从高到低进行排序，其中，所述稀疏度与所述采样率正相关；

从排序第一的所述第二时空特征开始，将当前遍历到的所述第二时空特征与相邻的下一个所述第二时空特征进行特征融合，生成融合时空特征，并利用所述融合时空特征更新所述下一个所述第二时空特征，直至排序最后的所述第二时空特征更新结束。

8.一种动作识别装置，包括：

第一提取模块，用于获取关键点序列，并提取所述关键点序列的第一时空特征，所述关键点序列包括多个关键点的时间维度和空间维度上的信息，所述第一时空特征指的是所述关键点序列的时间维度和空间维度结合得到的特征；

第二提取模块，用于对所述第一时空特征进行不同时间粒度的特征提取，得到每个时间粒度对应的第二时空特征；

获取模块，用于基于每个所述时间粒度对应的第二时空特征，获取所述关键点序列的目标识别动作；

所述获取模块，具体用于：基于任一时间粒度的所述第二时空特征，获取所述关键点序列的候选识别动作，并从多个候选识别动作中选取所述目标识别动作。