[发明专利]异常行为检测方法、装置、电子设备和存储介质

权利要求书

1.一种异常行为检测方法，其特征在于，包括：

确定待检测视频对应的多个视频片段；

确定各个视频片段对应的待检测图像帧，以及所述待检测视频对应的帧间光流图；

将各个待检测图像帧和所述帧间光流图输入至异常行为检测模型，得到所述异常行为检测模型输出的所述待检测视频对应的异常行为检测结果；

其中，所述异常行为检测模型用于基于各个待检测图像帧确定各个视频片段的通道注意力特征，基于所述帧间光流图确定所述待检测视频的时序动态特征，并基于各个视频片段的通道注意力特征和所述时序动态特征对所述待检测视频进行异常行为检测。

2.根据权利要求1所述的异常行为检测方法，其特征在于，所述异常行为检测模型包括通道特征提取层、时序特征提取层和异常行为检测层；

所述将各个待检测图像帧和所述帧间光流图输入至异常行为检测模型，得到所述异常行为检测模型输出的所述待检测视频对应的异常行为检测结果，包括：

将各个待检测图像帧输入至所述通道特征提取层，由所述通道特征提取层基于各个待检测图像帧中各个通道的重要程度对各个待检测图像帧进行特征提取，得到各个待检测图像帧对应的视频片段的通道注意力特征；

将所述帧间光流图输入至所述时序特征提取层，由所述时序特征提取层基于所述待检测视频中相邻图像帧在时间维度上的关联关系对所述帧间光流图进行特征提取，得到所述待检测视频的时序动态特征；

将各个视频片段的通道注意力特征和所述时序动态特征输入至所述异常行为检测层，由所述异常行为检测层对所述通道注意力特征和所述时序动态特征融合后进行分类，得到所述待检测视频对应的异常行为检测结果。

3.根据权利要求2所述的异常行为检测方法，其特征在于，所述通道特征提取层包括至少一个第一残差网络块；

所述第一残差网络块至少包括第一特征输入层、第一卷积层、第二卷积层、第三卷积层、通道注意力层和第一特征融合层；

所述第一特征输入层的输出端与所述第一卷积层的输入端和所述第一特征融合层的输入端连接；

所述第一卷积层的输出端与所述第二卷积层的输入端连接；

所述第二卷积层的输出端与所述第三卷积层的输入端连接；

所述第三卷积层的输出端与所述通道注意力层的输入端连接；

所述通道注意力层的输出端与所述第一特征融合层的输入端连接；

其中，所述通道注意力层为SENet模型；所述第一卷积层、所述第二卷积层和所述第三卷积层中的卷积核大小和输出通道均不相同。

4.根据权利要求2所述的异常行为检测方法，其特征在于，所述时序特征提取层包括至少一个第二残差网络块；

所述第二残差网络块至少包括第二特征输入层、时序移位层、第四卷积层、第五卷积层、第六卷积层和第二特征融合层；

所述第二特征输入层的输出端与所述时序移位层的输入端和所述第二特征融合层的输入端连接；

所述时序移位层的输出端与所述第四卷积层的输入端连接；

所述第四卷积层的输出端与所述第五卷积层的输入端连接；

所述第五卷积层的输出端与所述第六卷积层的输入端连接；

所述第六卷积层的输出端与所述第二特征融合层的输入端连接；

其中，所述时序移位层为TSM模型；所述第四卷积层、所述第五卷积层和所述第六卷积层中的卷积核大小和输出通道均不相同。

5.根据权利要求1至4任一项所述的异常行为检测方法，其特征在于，所述异常行为检测模型是基于如下步骤训练得到的：

确定异常行为样本集和正常行为样本集；

基于所述异常行为样本集和所述正常行为样本集的样本数量比值确定平衡参数，并基于所述异常行为样本集对所述异常行为检测模型的影响程度确定影响参数；

基于所述平衡参数、所述影响参数和FocalLoss函数，确定所述异常行为检测模型的损失函数；

基于所述异常行为样本集、所述正常行为样本集和所述损失函数，对初始模型进行训练，得到所述异常行为检测模型。

6.根据权利要求1至4任一项所述的异常行为检测方法，其特征在于，所述异常行为检测模型是基于ResNet50模型、TSM模型和SENet模型构建的。