[发明专利]模型训练和行为识别方法、装置、电子设备以及存储介质

说明书

本发明实施例提供了一种模型训练和行为识别方法、装置、电子设备以及存储介质。所述模型训练方法包括：获取训练数据，所述训练数据包括多个图像以及标签图像的行为分布特征，所述行为分布特征指示至少一个行为在所述标签图像中的位置分布；基于所述多个图像作为输入，并且基于所述标签图像的行为分布特征作为输出，对行为识别模型进行训练。本发明实施例的方案可靠地建立了多个图像与特征图之间的对应关系，可靠地建立了各个图像的特征图与标签图像之间的对应关系，学习到了各个图像与标签图像直接的内在联系，训练后的行为识别模型能够对至少一个行为执行有效且可靠的行为识别。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种模型训练和行为识别方法、装置、电子设备以及存储介质。

背景技术

从视频或多个关联图像中进行行为识别，能够用于诸如视频监测或者视频辅助分析的智能场景，节省了大量大力。

在现有的行为识别方案中，针对视频或诸如多个视频帧的关联图像执行目标识别，获得至少一个主体，基于每个主体在视频或多个视频帧中的位置信息，利用预先训练的神经网络执行推理，得到这个主体的行为。

但是，在诸如在线教学的应用场景中，当识别到的主体数目过多时，现有的方案针对每个主体执行行为识别，数据处理量过大。

发明内容

有鉴于此，本发明实施例提供一种模型训练和行为识别方法、装置、电子设备以及存储介质，以至少部分解决上述问题。

根据本发明实施例的第一方面，提供了一种模型训练方法，包括：获取训练数据，所述训练数据包括多个图像以及标签图像的行为分布特征，所述行为分布特征指示至少一个行为在所述标签图像中的位置分布；基于所述多个图像作为输入，并且基于所述标签图像的行为分布特征作为输出，对行为识别模型进行训练，所述行为识别模型包括第一特征提取网络和分类网络。所述第一特征提取网络用于分别根据输入的多个图像执行特征提取，得到所述多个图像各自的特征图。所述分类网络用于根据所述多个图像各自的特征图，执行行为分类处理，得到所述标签图像的行为分布特征。

根据本发明实施例的第二方面，提供了一种行为识别方法，包括：获取待识别行为的多个图像；将所述多个图像输入到行为识别模型中，得到行为特征图像，所述行为识别模型根据第一方面所述的模型训练方法训练得到。

根据本发明实施例的第三方面，提供了一种行为识别方法，包括：获取针对目标群体采集的视频帧序列，所述目标群体中包括多个主体；将所述视频帧序列中的多个视频帧输入到行为识别模型中，得到所述多个主体各自的行为与所述多个视频帧对应的位置分布；基于与所述多个视频帧对应的位置分布，确定所述多个主体的行为。所述行为识别模型根据第一方面所述的模型训练方法训练得到。

根据本发明实施例的第四方面，提供了一种模型训练装置，包括：获取模块，获取训练数据，所述训练数据包括多个图像以及标签图像的行为分布特征，所述行为分布特征指示至少一个行为在所述标签图像中的位置分布；训练模块，基于所述多个图像作为输入，并且基于所述标签图像的行为分布特征作为输出，对行为识别模型进行训练，所述行为识别模型包括第一特征提取网络和分类网络，其中，所述第一特征提取网络用于分别根据输入的多个图像执行特征提取，得到所述多个图像各自的特征图，其中，所述分类网络用于根据所述多个图像各自的特征图，执行行为分类处理，得到所述标签图像的行为分布特征。

根据本发明实施例的第五方面，提供了一种行为识别装置，包括：获取模块，获取待识别行为的多个图像；识别模块，将所述多个图像输入到行为识别模型中，得到行为特征图像，所述行为识别模型根据第一方面所述的模型训练方法训练得到。

根据本发明实施例的第六方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面、第二方面或第三方面所述的方法对应的操作。