[发明专利]行为识别方法、电子装置和存储介质

说明书

本申请涉及一种行为识别方法、电子装置和存储介质，其中，该行为识别方法包括：基于包含目标对象的待处理行为的监控视频，确定目标对象的关键点序列，关键点序列包括目标对象在监控视频的多个视频帧中的关键点信息；根据关键点序列，确定与待处理行为对应的姿态类型序列；对关键点序列进行特征提取，得到第一行为特征；对姿态类型序列进行特征提取，得到第二行为特征；基于第一行为特征和第二行为特征，对待处理行为进行识别，通过本申请，解决了无法准确地描述目标对象行为的问题，减少了识别待处理行为的错误率。

技术领域

本申请涉及计算机视觉领域，特别是涉及行为识别方法、电子装置和存储介质。

背景技术

行为识别有着广泛的应用前景，如智能视频监控、视频摘要、智能接口、人机交互、体育视频分析、视频检索等。

近年来，一些适合于行为识别的特征算法被提出，如局部二值模式(LBP)、方向梯度直方图(HOG)、尺度不变特征变换(SIFT)等方法。但单一特征往往受到目标对象外观、环境、摄像机设置等因素影响，无法准确地描述目标对象的行为。

发明内容

在本实施例中提供了一种行为识别方法、电子装置和存储介质，以解决相关技术中无法准确地描述目标对象行为的问题。

第一个方面，在本实施例中提供了一种行为识别方法，包括：

基于包含目标对象的待处理行为的监控视频，确定所述目标对象的关键点序列，所述关键点序列包括所述目标对象在所述监控视频的多个视频帧中的关键点信息；

根据所述关键点序列，确定与所述待处理行为对应的姿态类型序列；

对所述关键点序列进行特征提取，得到第一行为特征；

对所述姿态类型序列进行特征提取，得到第二行为特征；

基于所述第一行为特征和所述第二行为特征，对所述待处理行为进行识别。

在其中的一些实施例中，所述方法还包括：

若对所述待处理行为进行识别的结果中，所述待处理行为的类型与第一姿态类型相对应，且确定所述待处理行为的类型为设置的异常识别类型，则进行报警处理；其中，所述第一姿态类型是所述目标对象在所述监控视频中最后一帧对应的姿态类型。

在其中的一些实施例中，所述确定所述目标对象的关键点序列，具体包括：

获取所述监控视频中当前帧数据和关联帧数据，其中，所述当前帧数据是所述监控视频的多个视频帧中的任意一帧数据，所述关联帧数据是所述当前帧数据的前一帧数据；

根据所述当前帧数据确定第一热力图；

根据所述关联帧数据确定第二热力图；

根据所述第一热力图和所述第二热力图，确定第三热力图；其中，所述第三热力图是基于所述关联帧数据预测所述目标对象在所述当前帧的热力图；

根据所述第一热力图和所述第三热力图，确定所述目标对象在当前帧中的热力图；

根据所述目标对象在当前帧中的热力图，获取当前帧中与所述目标对象对应的关键点信息。

在其中的一些实施例中，根据所述第一热力图和所述第二热力图，确定第三热力图包括：

根据所述第一热力图与所述第二热力图的差，确定第四热力图；

根据所述第二热力图和所述第四热力图，确定所述第三热力图。

在其中的一些实施例中，根据所述第一热力图和所述第三热力图，确定所述目标对象在当前帧中的热力图包括：

将所述第一热力图与所述第三热力图进行融合，得到所述目标对象在当前帧中的热力图。