[发明专利]动作识别方法、装置及电子设备

说明书

本发明提供了一种动作识别方法、装置及电子设备，涉及图像处理技术领域，该方法包括：如果从视频帧中检测出目标对象，获取包含有该目标对象的多张图像，以及该多张图像的光流图像；从该多张图像中提取该目标对象的对象轨迹特征，从该多张图像的光流图像中提取该目标对象的光流轨迹特征；根据该对象轨迹特征和该光流轨迹特征，识别该目标对象的动作类型。本发明实施例通过结合视频帧中目标对象的轨迹信息，以及该图像的光流图像中该目标对象的光流信息，对目标对象的动作类型进行识别，由于融合了该目标对象的时间特征信息和空间特征信息，有效提高了动作类型的检测识别精度，并可以同时兼顾检测效率，提高了整体的检测性能。

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种动作识别方法、装置及电子设备。

背景技术

视频动作检测的任务是从视频中找出可能存在动作的片段，并对该动作所属的行为进行分类。随着国内外摄像设备的普及，对实时的在线视频动作检测也提出了更高的要求。目前，主流的在线视频动作检测方法多使用三维卷积网络，其计算量大，导致检测延迟高；而另一种使用二维卷积网络的视频动作检测方法，其计算速度较快，但是精度较低。

整体而言，当前的在线视频动作检测方法无法同时兼顾检测精度和检测效率，整体性能较差。

发明内容

有鉴于此，本发明的目的在于提供一种动作识别方法、装置及电子设备，可以同时兼顾在线视频动作检测的检测精度和检测效率，提高整体的检测性能。

第一方面，本发明实施例提供了一种动作识别方法，包括：如果从视频帧中检测出目标对象，获取包含有该目标对象的多张图像，以及该多张图像的光流图像；从该多张图像中提取该目标对象的对象轨迹特征，从该多张图像的光流图像中提取该目标对象的光流轨迹特征；根据该对象轨迹特征和该光流轨迹特征，识别该目标对象的动作类型。

在本发明较佳的实施例中，上述根据该对象轨迹特征和该光流轨迹特征，识别该目标对象的动作类型的步骤，包括：根据该对象轨迹特征和该光流轨迹特征，从该多张图像中确定发生动作的目标图像；根据该目标图像和该目标图像的光流图像，识别该目标对象的动作类型。

在本发明较佳的实施例中，上述根据该对象轨迹特征和该光流轨迹特征，从该多张图像中确定发生动作的目标图像的步骤，包括：对该多张图像中的每张图像均执行下述操作：对图像中该目标对象的对象轨迹特征和光流轨迹特征进行拼接，得到该目标对象的复合轨迹特征；或者，将图像中该目标对象的对象轨迹特征和光流轨迹特征相加，得到该目标对象的复合轨迹特征；根据该目标对象的复合轨迹特征，从该多张图像中确定发生动作的目标图像。

在本发明较佳的实施例中，上述根据该目标对象的复合轨迹特征，从该多张图像中确定发生动作的目标图像的步骤，包括：将该多张图像按时间顺序顺次排序；根据每个图像集包含的预设图像数，将排序后的该多张图像划分为多个图像集；对每一该图像集，按预设采样长度对该图像集中该目标对象的复合轨迹特征进行采样，得到该图像集的采样特征；将该图像集的采样特征输入到预先训练好的神经网络中，输出该图像集包含发生动作的图像的概率，该图像集中首张图像相对发生动作的图像区间始端的第一偏移量，以及该图像集中末张图像相对该图像区间末端的第二偏移量；根据该图像集包含发生动作的图像的概率，该第一偏移量和该第二偏移量，确定该图像集中发生动作的目标图像。

在本发明较佳的实施例中，上述根据该目标对象的复合轨迹特征，从该多张图像中确定发生动作的目标图像的步骤，包括：对该多张图像中的每张图像，根据图像中该目标对象的复合轨迹特征，确定该图像作为动作起始图像的第一概率、该图像作为动作结束图像的第二概率、以及该图像发生了动作的第三概率；根据每张图像的第一概率、第二概率和第三概率，从该多张图像中确定发生动作的目标图像。