[发明专利]行为识别方法、电子装置和存储介质

权利要求书

1.一种行为识别方法，其特征在于，包括：

基于包含目标对象的待处理行为的监控视频，确定所述目标对象的关键点序列，所述关键点序列包括所述目标对象在所述监控视频的多个视频帧中的关键点信息；

根据所述关键点序列，确定与所述待处理行为对应的姿态类型序列；

对所述关键点序列进行特征提取，得到第一行为特征；

对所述姿态类型序列进行特征提取，得到第二行为特征；

基于所述第一行为特征和所述第二行为特征，对所述待处理行为进行识别。

2.根据权利要求1所述的行为识别方法，其特征在于，所述方法还包括：

若对所述待处理行为进行识别的结果中，所述待处理行为的类型与第一姿态类型相对应，且确定所述待处理行为的类型为设置的异常识别类型，则进行报警处理；其中，所述第一姿态类型是所述目标对象在所述监控视频中最后一帧对应的姿态类型。

3.根据权利要求1所述的行为识别方法，其特征在于，所述确定所述目标对象的关键点序列，具体包括：

获取所述监控视频中当前帧数据和关联帧数据，其中，所述当前帧数据是所述监控视频的多个视频帧中的任意一帧数据，所述关联帧数据是所述当前帧数据的前一帧数据；

根据所述当前帧数据确定第一热力图；

根据所述关联帧数据确定第二热力图；

根据所述第一热力图和所述第二热力图，确定第三热力图；其中，所述第三热力图是基于所述关联帧数据预测所述目标对象在所述当前帧的热力图；

根据所述第一热力图和所述第三热力图，确定所述目标对象在当前帧中的热力图；

根据所述目标对象在当前帧中的热力图，获取当前帧中与所述目标对象对应的关键点信息。

4.根据权利要求3所述的行为识别方法，其特征在于，根据所述第一热力图和所述第二热力图，确定第三热力图包括：

根据所述第一热力图与所述第二热力图的差，确定第四热力图；

根据所述第二热力图和所述第四热力图，确定所述第三热力图。

5.根据权利要求3所述的行为识别方法，其特征在于，根据所述第一热力图和所述第三热力图，确定所述目标对象在当前帧中的热力图包括：

将所述第一热力图与所述第三热力图进行融合，得到所述目标对象在当前帧中的热力图。

6.根据权利要求4所述的行为识别方法，其特征在于，根据所述第二热力图和所述第四热力图，确定所述第三热力图包括：

基于关键点提取模块，对所述第二热力图和所述第四热力图中的关键点进行识别，得到所述第二热力图对应的关键点信息和所述第四热力图对应的关键点信息；

根据所述第二热力图对应的关键点信息和所述第四热力图对应的关键点信息，确定所述第三热力图。

7.根据权利要求1所述的行为识别方法，其特征在于，所述基于包含目标对象的待处理行为的监控视频，确定所述目标对象的关键点序列，具体包括：

基于所述监控视频，获取当前帧的关键点信息、所述当前帧前n帧的关键点信息和所述当前帧后m帧的关键点信息，其中，所述当前帧为所述监控视频的多个视频帧中除第一视频帧和最后一个视频帧以外的任一视频帧；

根据所述当前帧的关键点信息、所述当前帧前n帧的关键点信息和所述当前帧后m帧的关键点信息，确定所述当前帧平滑后的关键点信息；

根据所述当前帧平滑后的关键点信息确定所述目标对象的关键点序列。

8.根据权利要求1所述的行为识别方法，其特征在于，对所述姿态类型序列进行特征提取，得到第二行为特征之前包括：

获取当前帧的姿态类型对应的置信度、所述当前帧前p帧的姿态类型对应的置信度和所述当前帧后q帧的姿态类型对应的置信度，其中，所述当前帧为所述监控视频的多个视频帧中除第一视频帧和最后一帧视频帧以外的任一视频帧；

根据所述当前帧的姿态类型对应的置信度、所述当前帧前p帧的姿态类型对应的置信度和所述当前帧后q帧的姿态类型对应的置信度，确定所述当前帧平滑后的姿态类型；

根据所述当前帧平滑后的姿态类型确定所述姿态类型序列。