[发明专利]行为识别方法、装置、电子设备和存储介质

权利要求书

1.一种行为识别方法，其特征在于，包括：

对原始行为视频进行数据预处理，获取待识别行为视频集；

将所述待识别行为视频集输入Slowfast网络模型，获取第一行为识别结果；

将所述待识别行为视频集输入TSM网络模型，获取第二行为识别结果；

基于所述第一行为识别结果和所述第二行为识别结果，获取所述原始行为视频的识别结果；

其中，所述Slowfast网络模型和所述TSM网络模型是基于待识别样本行为视频集和待识别样本行为视频集的行为识别结果训练得到，所述待识别样本行为视频集是基于对原始样本行为视频进行数据预处理后得到。

2.根据权利要求1所述的行为识别方法，其特征在于，对原始行为视频进行数据预处理，获取待识别行为视频集，包括：对所述原始行为视频依次进行视频长度处理、视频模式处理以及数据增强处理；

所述视频长度处理包括：若判断所述原始行为视频的长度大于预设值，则以预设值作为长度对所述原始行为视频进行采样；若判断所述原始行为视频的长度小于预设值，则基于视频插值将所述原始行为视频的长度填充至预设值；

所述视频模式处理包括：在经过所述视频长度处理后，分别获取原始行为视频的RGB视频和帧差视频；

所述数据增强处理包括：分别对所述RGB视频和所述帧差视频进行数据增强，所述数据增强包括镜像翻转、视频倒放、视频裁剪以及视频拼接中的一种或多种。

3.根据权利要求1所述的行为识别方法，其特征在于，将所述待识别行为视频集输入Slowfast网络模型，获取第一行为识别结果，包括：

将所述待识别行为视频集输入Slowfast网络模型，获取若干组Slowfast网络识别结果，并将所述若干组Slowfast网络识别结果的平均值作为所述第一行为识别结果。

4.根据权利要求3所述的行为识别方法，其特征在于，所述Slowfast网络模型包括Non-local模块和时空注意力模块，所述Slowfast网络模型以ELU函数作为激活函数。

5.根据权利要求1所述的行为识别方法，其特征在于，将所述待识别行为视频集输入TSM网络模型，获取第二行为识别结果，包括：

将所述待识别行为视频集输入TSM网络模型，获取若干组TSM网络识别结果，并将所述若干组TSM网络识别结果的平均值作为所述第二行为识别结果。

6.根据权利要求1所述的行为识别方法，其特征在于，基于所述第一行为识别结果和所述第二行为识别结果，获取所述原始行为视频的识别结果，包括：

将所述第一行为识别结果和所述第二行为识别结果的平均值作为所述原始行为视频的识别结果。

7.根据权利要求1至6任一项所述的行为识别方法，其特征在于，在基于待识别样本行为视频集对所述Slowfast网络模型和所述TSM网络模型进行训练之后，还包括：

基于原始测试行为视频对所述Slowfast网络模型和所述TSM网络模型进行测试验证，具体包括：

将原始测试视频输入数据处理模块进行数据预处理，获取测试行为视频集；

将所述测试行为视频集输入所述Slowfast网络模型，获取第一测试结果；

将所述测试行为视频集输入所述TSM网络模型，获取第二测试结果；

基于所述第一测试结果和所述第二测试结果，获取所述原始测试视频的测试结果。