[发明专利]一种行为识别及特征提取的方法、装置、设备及介质

权利要求书

1.一种行为识别的方法，其特征在于，所述方法包括：

获取待检测视频；其中，所述待检测视频包括待识别视频帧以及与所述待识别视频帧相邻的连续多个参考视频帧；

确定所述待识别视频帧分别与所述多个参考视频帧之间的匹配代价；以及，将从所述待识别视频帧以及与所述待识别视频帧相邻的连续多个参考视频帧中分别提取的视频帧特征信息输入到重要度计算神经网络中，得到所述重要度计算神经网络输出的针对每个匹配代价对应的多个待确定子匹配代价的重要度权重；

基于确定的每个匹配代价，确定最大的重要度权重所对应的待确定子匹配代价，得到确定后的子匹配代价；

利用训练好的行为识别神经网络以及确定后的子匹配代价，确定针对所述待识别视频帧的行为识别结果。

2.一种特征提取的方法，其特征在于，所述方法包括：

获取目标样本视频帧以及与该目标样本视频帧相邻的连续多个参考样本视频帧；

确定所述目标样本视频帧分别与所述多个参考样本视频帧之间的匹配代价；

根据预设的多个空间搜索范围，确定每个所述匹配代价在多个空间搜索范围内分别对应的子匹配代价；

基于多个所述匹配代价分别对应的多个子匹配代价，生成所述目标样本视频帧对应的运动特征信息；其中，所述目标样本视频帧的运动特征信息，用于训练对待检测视频进行行为识别的行为识别神经网络。

3.根据权利要求2所述的方法，其特征在于，所述根据预设的多个空间搜索范围，确定每个所述匹配代价在多个空间搜索范围内分别对应的子匹配代价，包括：

针对每个匹配代价，将确定该匹配代价时使用的空间搜索范围确定为第一个子匹配代价的第一个空间搜索范围；

确定以所述第一个空间搜索范围中的指定位置为搜索起点位置，且搜索范围的大小与所述第一个空间搜索范围不同的至少一个其他空间搜索范围对应的子匹配代价。

4.根据权利要求3所述的方法，其特征在于，所述指定位置为所述第一个空间搜索范围的中心。

5.根据权利要求3或4所述的方法，其特征在于，按照如下步骤确定所述至少一个其他空间搜索范围对应的子匹配代价：

确定所述第一个空间搜索范围所对应的匹配代价长方体；

针对所述其他空间搜索范围中的目标空间搜索范围，从确定的所述匹配代价长方体中确定与所述目标空间搜索范围对应的子匹配代价长方体；从所述第一个子匹配代价包含的各个匹配代价矩阵值中查找与确定的所述子匹配代价长方体匹配的匹配代价矩阵值；将查找到的所述匹配代价矩阵值进行组合，得到与所述目标空间搜索范围对应的子匹配代价；

将得到的与所述目标空间搜索范围对应的子匹配代价，确定为所述其他空间搜索范围对应的子匹配代价。

6.根据权利要求2-5任一所述的方法，其特征在于，所述基于多个所述匹配代价分别对应的多个子匹配代价，生成所述目标样本视频帧对应的运动特征信息，包括：

针对所述匹配代价对应的每个子匹配代价中的目标子匹配代价，将所述目标子匹配代价转换为对应的两个样本视频帧中的目标对象在对应的空间搜索范围内的运动特征信息，以得到所述目标子匹配代价转换后的运动特征信息；

将所述目标子匹配代价转换后的运动特征信息，确定为所述目标样本视频帧对应的一个运动特征信息。

7.根据权利要求6所述的方法，其特征在于，所述针对所述匹配代价对应的每个子匹配代价中的目标子匹配代价，将所述目标子匹配代价转换为对应的两个样本视频帧中的目标对象在对应的空间搜索范围内的运动特征信息，包括：

针对所述匹配代价对应的每个子匹配代价中的目标子匹配代价，将所述目标子匹配代价输入至特征转换神经网络，得到所述特征转换神经网络输出的运动特征信息；

基于得到的所述运动特征信息确定所述目标子匹配代价转换后的运动特征信息。