[发明专利]动作识别方法、装置及电子设备

权利要求书

1.一种动作识别方法，其特征在于，包括：

如果从视频帧中检测出目标对象，获取包含有所述目标对象的多张图像，以及所述多张图像的光流图像；

从所述多张图像中提取所述目标对象的对象轨迹特征，从所述多张图像的光流图像中提取所述目标对象的光流轨迹特征；所述对象轨迹特征用于表征所述目标对象的空间特征信息，所述光流轨迹特征用于表征所述目标对象的时间特征信息；

根据所述对象轨迹特征和所述光流轨迹特征，从所述多张图像中确定发生动作的目标图像；

根据所述目标图像和所述目标图像的光流图像，识别所述目标对象的动作类型。

2.根据权利要求1所述的动作识别方法，其特征在于，所述根据所述对象轨迹特征和所述光流轨迹特征，从所述多张图像中确定发生动作的目标图像的步骤，包括：

对所述多张图像中的每张图像均执行下述操作：对图像中所述目标对象的对象轨迹特征和光流轨迹特征进行拼接，得到所述目标对象的复合轨迹特征；或者，将图像中所述目标对象的对象轨迹特征和光流轨迹特征相加，得到所述目标对象的复合轨迹特征；

根据所述目标对象的复合轨迹特征，从所述多张图像中确定发生动作的目标图像。

3.根据权利要求2所述的动作识别方法，其特征在于，所述根据所述目标对象的复合轨迹特征，从所述多张图像中确定发生动作的目标图像的步骤，包括：

将所述多张图像按时间顺序顺次排序；

根据每个图像集包含的预设图像数，将排序后的所述多张图像划分为多个图像集；

对每一所述图像集，按预设采样长度对所述图像集中所述目标对象的复合轨迹特征进行采样，得到所述图像集的采样特征；

将所述图像集的采样特征输入到预先训练好的神经网络中，输出所述图像集包含发生动作的图像的概率，所述图像集中首张图像相对发生动作的图像区间始端的第一偏移量，以及所述图像集中末张图像相对所述图像区间末端的第二偏移量；

根据所述图像集包含发生动作的图像的概率，所述第一偏移量和所述第二偏移量，确定所述图像集中发生动作的目标图像。

4.根据权利要求2所述的动作识别方法，其特征在于，所述根据所述目标对象的复合轨迹特征，从所述多张图像中确定发生动作的目标图像的步骤，包括：

对所述多张图像中的每张图像，根据图像中所述目标对象的复合轨迹特征，确定所述图像作为动作起始图像的第一概率、所述图像作为动作结束图像的第二概率、以及所述图像发生了动作的第三概率；

根据每张图像的所述第一概率、所述第二概率和所述第三概率，从所述多张图像中确定发生动作的目标图像。

5.根据权利要求4所述的动作识别方法，其特征在于，所述根据图像中所述目标对象的复合轨迹特征，确定所述图像作为动作起始图像的第一概率，所述图像作为动作结束图像的第二概率，以及所述图像发生了动作的第三概率的步骤，包括：

将图像中所述目标对象的复合轨迹特征，输入到预先训练好的神经网络中，输出所述图像作为动作起始图像的第一概率、所述图像作为动作结束图像的第二概率，以及所述图像发生了动作的第三概率。

6.根据权利要求4所述的动作识别方法，其特征在于，所述根据每张图像的所述第一概率、所述第二概率和所述第三概率，从所述多张图像中确定发生动作的目标图像的步骤，包括：

根据所述第一概率、所述第二概率以及预设的概率要求，从所述多张图像中确定满足所述概率要求的动作起始图像和动作结束图像；

根据所述动作起始图像和所述动作结束图像确定发生动作的图像集；

按预设采样长度对所述图像集中所述目标对象的复合轨迹特征进行采样，得到所述图像集的采样特征；

将所述图像集的采样特征，以及所述图像集中每张图像的所述第三概率，输入预先训练好的神经网络中，输出所述图像集包含发生动作的图像的概率；

根据所述图像集包含发生动作的图像的概率，确定发生动作的目标图像。