[发明专利]一种行为检测的方法、装置、电子设备及存储介质

权利要求书

1.一种行为检测的方法，其特征在于，所述方法包括：

获取待检测视频，并对所述待检测视频进行抽帧处理，得到抽帧后的视频帧序列；

利用第一特征提取网络对所述待检测视频进行时序特征提取，得到所述待检测视频中第一视频帧的第一特征图，以及利用第二特征提取网络对所述视频帧序列进行空间特征提取，得到所述视频帧序列中第二视频帧的第二特征图；

基于得到的所述第一特征图以及所述第二特征图，对第一时间窗口进行更新，得到更新后的第二时间窗口；

在所述第二时间窗口内对所述视频帧序列进行目标行为检测，得到行为检测结果。

2.根据权利要求1所述的方法，其特征在于，所述基于得到的所述第一特征图以及所述第二特征图，对第一时间窗口进行更新，得到更新后的第二时间窗口，包括：

基于所述视频帧序列包括的视频帧的数量，对所述待检测视频包括的第一视频帧进行分组，得到多个第一视频帧组；

针对所述视频帧序列中的每个第二视频帧，从所述多个第一视频帧组中选择与所述第二视频帧对应的第一目标视频帧组，并基于所述第二视频帧的第二特征图以及对应的第一目标视频帧组包括的各个第一视频帧的第一特征图，确定所述第二视频帧的融合特征图；

基于每个第二视频帧的融合特征图，确定针对所述视频帧序列的融合特征图，并基于所述视频帧序列的融合特征图对第一时间窗口进行更新，得到更新后的第二时间窗口。

3.根据权利要求2所述的方法，其特征在于，所述基于所述视频帧序列的融合特征图对第一时间窗口进行更新，得到更新后的第二时间窗口，包括：

确定所述第一时间窗口包括的动作开始时刻指向的第二视频帧以及动作结束时刻指向的第二视频帧；

从所述视频帧序列的融合特征图中，选取与确定的两个所述第二视频帧所对应的视频帧段或者扩展视频帧段匹配的融合特征子图；

基于选取的所述融合特征子图对第一时间窗口进行更新，得到更新后的第二时间窗口。

4.根据权利要求3所述的方法，其特征在于，按照如下步骤确定所述第一时间窗口：

利用训练好的多个动作参数提取网络分别对所述视频帧序列的融合特征图进行动作参数提取，得到每个所述动作参数提取网络输出的每个第二视频帧的动作参数值；所述动作参数值包括属于动作开始节点的概率值、属于动作结束节点的概率值、以及对应属于候选动作的概率值；

基于每个所述动作参数提取网络输出的动作参数值，确定第一时间窗口。

5.根据权利要求4所述的方法，其特征在于，所述基于选取的所述融合特征子图对第一时间窗口进行更新，得到更新后的第二时间窗口，包括：

将选取的所述融合特征子图输入到训练好的动作偏移量提取网络中，确定有关动作参数值的动作偏移量；

基于所述动作偏移量对所述第一时间窗口进行调整，得到更新后的第二时间窗口。

6.根据权利要求4或5所述的方法，其特征在于，按照如下步骤训练所述多个动作参数提取网络：

获取视频样本，以及针对所述视频样本标注的动作参数信息；所述动作参数信息包括动作开始节点信息、动作结束节点信息、动作时间窗口对应的候选动作信息；

将所述视频样本作为所述待训练的多个动作参数提取网络的输入数据，将所述动作参数信息作为所述待训练的多个动作参数提取网络的输出结果的对比监督数据，对所述待训练的多个动作参数提取网络进行训练，得到训练好的多个动作参数提取网络。

7.根据权利要求6所述的方法，其特征在于，所述获取视频样本按照如下至少一种方式实现：

从其它视频中选取与所述视频样本所对应候选动作信息不同的视频段，并将选取的所述视频段插入至所述视频样本中，得到更新后的视频样本；

对所述视频样本进行采样处理，得到处理后的视频样本；

对所述视频样本标注的动作时间窗口添加噪声进行处理，得到处理后的视频样本。