[发明专利]模型训练和行为识别方法、装置、电子设备以及存储介质

权利要求书

1.一种模型训练方法，包括：

获取训练数据，所述训练数据包括多个图像以及标签图像的行为分布特征，所述行为分布特征指示至少一个行为在所述标签图像中的位置分布；

基于所述多个图像作为输入，并且基于所述标签图像的行为分布特征作为输出，对行为识别模型进行训练，所述行为识别模型包括第一特征提取网络、第二特征提取网路和分类网络，

其中，所述第一特征提取网络用于分别根据输入的多个图像执行特征提取，得到所述多个图像各自的特征图，所述第二特征提取网络用于根据输入的多个图像的融合图像进行特征提取，得到所述融合图像的特征图，

其中，所述分类网络包括融合层、分类层和归一化层，所述融合层用于融合所述融合图像的特征图以及所述多个图像各自的特征图，得到融合特征图，所述分类层用于对所述融合特征图进行行为分类，得到所述融合特征图中的各个通道的行为分类，所述归一化层用于根据各个通道的行为分类，进行归一化处理，得到所述标签图像在单通道的行为分布特征。

2.根据权利要求1所述的方法，其中，所述第一特征提取网络包括第一下采样层、多个第一特征提取层、合并层和第一上采样层，

其中，所述第一下采样层的输入作为所述第一特征提取网络的输入，所述第一下采样层的多个输出分别连接到所述多个第一特征提取层的多个输入，所述多个第一特征提取层的多个输出连接到所述合并层的输入，所述合并层的输出连接到所述第一上采样层的输入，所述第一上采样层的输出连接到所述分类网络的输入。

3.根据权利要求1所述的方法，其中，所述第二特征提取网络包括第二下采样层、第二特征提取层和第二上采样层，

其中，所述第二下采样层的输入作为所述第二特征提取网络的输入，所述第二下采样层的输出连接到所述第二特征提取层的输入，所述第二特征提取层的输出连接到所述第二上采样层的输入，所述第二上采样层的输出连接到所述分类网络的输入。

4.根据权利要求1所述的方法，其中，所述分类网络包括融合层、分类层和归一化层，

所述融合层的输入连接到所述第一特征提取网络的输出与所述第二特征提取网络的输出，所述融合层的输出连接到所述分类层的输入，所述分类层的输出连接到所述归一化层的输入，所述归一化层的输出作为所述分类网络的输出。

5.根据权利要求1所述的方法，其中，所述行为分布特征指示至少一个行为在所述标签图像中的像素分布，每个行为对应于连通的像素区域。

6.一种行为识别方法，包括：

获取待识别行为的多个图像；

将所述多个图像输入到行为识别模型中，得到行为特征图像，所述行为识别模型根据权利要求1-5中任一项所述的模型训练方法训练得到。

7.一种行为识别方法，包括：

获取针对目标群体采集的视频帧序列，所述目标群体中包括多个主体；

将所述视频帧序列中的多个视频帧输入到行为识别模型中，得到所述多个主体各自的行为与所述多个视频帧对应的位置分布；

基于与所述多个视频帧对应的位置分布，确定所述多个主体的行为，其中，所述行为识别模型根据权利要求1-5中任一项所述的模型训练方法训练得到。