[发明专利]一种行为识别及特征提取的方法、装置、设备及介质

说明书

本公开提供了一种行为识别及特征提取的方法、装置、设备及介质，其中，该行为识别的方法包括：获取待检测视频；待检测视频包括待识别视频帧以及与待识别视频帧相邻的连续多个参考视频帧；确定待识别视频帧分别与多个参考视频帧之间的匹配代价；以及，将从待识别视频帧以及连续多个参考视频帧中分别提取的视频帧特征信息输入到重要度计算神经网络中，得到针对每个匹配代价对应的多个待确定子匹配代价的重要度权重；确定最大的重要度权重所对应的待确定子匹配代价，得到确定后的子匹配代价；利用训练好的行为识别神经网络以及确定后的子匹配代价，确定针对待识别视频帧的行为识别结果。本公开在确保了识别准确性的前提下，还节约了计算资源。

技术领域

本公开涉及数据处理技术领域，具体而言，涉及一种行为识别及特征提取的方法、装置、设备及介质。

背景技术

智能视频分析技术在当前的安防、人机交互和自动驾驶等领域都具有非常重要的应用，而行人行为识别是其中的一个关键技术。其中，行为识别主要利用视频片段中物体的运动信息进行建模，得到描述视频中物体运动情况的运动特征。将得到的运动特征与图像中的表观特征相结合，可以用于行为识别任务。

目前，可以采用光流法、帧差法等方法计算实现运动信息的建模操作，光流法是根据视频片段中，每一帧图像的各个像素点的速度矢量特征，对图像进行动态分析，当目标运动时，运动目标形成的光流矢量发生变化，从而检测出运动目标，操作复杂，较为耗时。帧差法可以利用相邻帧的特征差值来描述短距离的运动信息，这种方法往往受限于时间约束(对应相邻帧)和空间约束(对应固定的空间邻域)，不能很好地捕捉运动物体在时空上大幅度变化的情况，这导致后续行为识别的准确性较差。

发明内容

本公开实施例至少提供一种行为识别及特征提取的方法、装置、设备及介质。

第一方面，本公开实施例提供了一种行为识别的方法，所述方法包括：

获取待检测视频；其中，所述待检测视频包括待识别视频帧以及与所述待识别视频帧相邻的连续多个参考视频帧；

确定所述待识别视频帧分别与所述多个参考视频帧之间的匹配代价；以及，将从所述待识别视频帧以及与所述待识别视频帧相邻的连续多个参考视频帧中分别提取的视频帧特征信息输入到重要度计算神经网络中，得到所述重要度计算神经网络输出的针对每个匹配代价对应的多个待确定子匹配代价的重要度权重；

基于确定的每个匹配代价，确定最大的重要度权重所对应的待确定子匹配代价，得到确定后的子匹配代价；

利用训练好的行为识别神经网络以及确定后的子匹配代价，确定针对待识别视频帧的行为识别结果。

这里，可以针对待识别视频帧进行行为识别。首先可以确定待识别视频帧与每个参考视频帧之间的匹配代价，匹配代价越小，一定程度上可以说明对应的待识别视频帧和参考视频帧中对应的像素之间的相关性大，进而可以在时间维度上描述目标对象的运动变化。除此之外，在空间维度上本公开实施例可以直接确定最大的重要度权重所对应的待确定子匹配代价，仅需得到一个确定的子匹配代价即可实现行为识别，这在确保了识别准确性的前提下，还进一步节约了计算资源。

第二方面，本公开实施例提供了一种特征提取的方法，所述方法包括：

获取目标样本视频帧以及与该目标样本视频帧相邻的连续多个参考样本视频帧；

确定所述目标样本视频帧分别与所述多个参考样本视频帧之间的匹配代价；

根据预设的多个空间搜索范围，确定每个所述匹配代价在多个空间搜索范围内分别对应的子匹配代价；

基于多个所述匹配代价分别对应的多个子匹配代价，生成所述目标样本视频帧对应的运动特征信息；其中，所述目标样本视频帧的运动特征信息，用于训练对待检测视频进行行为识别的行为识别神经网络。