[发明专利]行为预测方法及装置、步态识别方法及装置

说明书

本公开提供了一种步态识别方法及装置、行为预测方法及装置，其中，本公开首先获取目标视频片段，该目标视频片段中包括目标图像和目标图像的前N帧图像；其中，N为正整数；之后，基于目标对象在目标视频片段的每帧图像中的多个二维关键点信息和目标对象在所述目标图像中的多个三维关键点信息，确定目标对象在所述目标图像中的步态数据和/或目标重心坐标；基于步态数据和/或目标重心坐标，预测目标对象在预设时间段内的行为特征信息；最后，基于行为特征信息，确定目标对象在预设时间段内的安全特征信息以及与安全特征信息匹配的安全处置策略。

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种步态识别方法及装置、行为预测方法及装置、电子设备、计算机可读存储介质。

背景技术

对对象进行行为分析和识别是人工智能领域中的一种基本需求。现有技术中在进行行为分析和识别时，一般通过多阶段三维人体姿态识别，并且需要依赖拍摄对象视频的相机的参数或限制相机的拍摄视角等。上述行为分析和识别的方式存在识别准确度和成功率均较低，并且限制性较强、泛化能力较差的缺陷。

发明内容

有鉴于此，本公开至少提供一种行为预测方案以及步态识别方案。

第一方面，本公开提供了一种行为预测方法于，包括：获取目标视频片段，所述目标视频片段中包括目标图像和所述目标图像的前N帧图像；其中，N为正整数；基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息和所述目标对象在所述目标图像中的多个三维关键点信息，确定所述目标对象在所述目标图像中的步态数据和/或目标重心坐标；基于所述步态数据和/或所述目标重心坐标，预测所述目标对象在预设时间段内的行为特征信息；基于所述行为特征信息，确定所述目标对象在所述预设时间段内的安全特征信息以及与所述安全特征信息匹配的安全处置策略。

本方面中，基于每帧图像中的二维关键点信息和目标图像中的三维关键点信息，能够提高预测得到的步态数据和目标重心坐标的准确度；基于较为准确的步态数据和目标重心坐标能够提高预测得到的安全特征信息和确定的安全处置策略的准确性，从而能够有效保障目标对象的安全。

在一种可能的实施方式中，所述基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息和所述目标对象在所述目标图像中的多个三维关键点信息，确定所述目标对象在所述目标图像中的步态数据，包括：基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象在所述目标图像中的多个三维关键点信息；基于所述多个三维关键点信息，确定所述目标对象的前进方向；基于所述多个三维关键点信息和所述前进方向，识别所述目标对象在所述目标图像中的步态数据。

本实施方式中，利用目标对象在视频片段的每帧图像中的多个二维关键点信息，来确定目标对象在视频片段的最后一帧图像中的三维关键点信息，能够避免确定的每个三维关键点信息出现多值歧义的问题，从而能够提高基于三维关键点信息进行步态分析和识别的成功率和准确率；另外，本方面中，在确定了目标对象的多个三维关键点信息之后，利用三维关键点信息来确定目标对象的前进方向，并基于确定的前进方向和三维关键点信息来对目标对象进行步态分析和识别，确定目标对象的步态数据，并未依赖拍摄视频片段所使用的相机的相机参数，克服了步态分析和识别中存在的对其他数据或设备依赖性较强、泛化能力较差的缺陷。

在一种可能的实施方式中，所述基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息和所述目标对象在所述目标图像中的多个三维关键点信息，确定所述目标对象在所述目标图像中的目标重心坐标，包括：基于目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象的第一重心坐标以及确定所述目标对象在所述目标图像中的多个三维关键点信息；基于所述目标对象在目标图像中的多个二维关键点信息和所述多个三维关键点信息，确定所述目标对象的第二重心坐标；基于所述第一重心坐标和所述第二重心坐标，确定所述目标对象在所述目标图像中的目标重心坐标。

本实施方式中，利用结合确定的两个重心坐标，能够更加准确的确定目标对象的最终的目标重心坐标。