[发明专利]行为预测方法及装置、步态识别方法及装置

权利要求书

1.一种行为预测方法，其特征在于，包括：

获取目标视频片段，所述目标视频片段中包括目标图像和所述目标图像的前N帧图像；其中，N为正整数；

基于目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象在所述目标图像中的多个三维关键点信息；

基于所述多个三维关键点信息，确定所述目标对象的前进方向；

基于所述多个三维关键点信息和所述前进方向，确定所述目标对象在所述目标图像中的步态数据；以及，基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象的第一重心坐标以及确定所述目标对象在所述目标图像中的多个三维关键点信息；

基于所述目标对象在目标图像中的多个二维关键点信息和所述目标对象在所述目标图像中的多个三维关键点信息，确定所述目标对象的第二重心坐标；

基于所述第一重心坐标和所述第二重心坐标，确定所述目标对象在所述目标图像中的目标重心坐标；

基于所述步态数据和所述目标重心坐标，预测所述目标对象在预设时间段内的行为特征信息；

基于所述行为特征信息，确定所述目标对象在所述预设时间段内的安全特征信息以及与所述安全特征信息匹配的安全处置策略。

2.根据权利要求1所述的行为预测方法，其特征在于，所述确定所述目标对象在所述目标图像中的多个三维关键点信息，包括：

针对所述目标视频片段中的每帧图像，基于所述目标对象在该帧图像中的多个二维关键点信息，确定所述目标对象在该帧图像中的检测框；

基于所述检测框的尺寸信息、所述检测框的中心点的坐标，对该帧图像中的每个二维关键点信息对应的坐标信息进行归一化处理，得到目标对象在该帧图像中的多个目标二维关键点信息；

基于目标对象在所述每帧图像中的多个目标二维关键点信息，确定所述目标对象在所述目标图像中多个三维关键点信息。

3.根据权利要求2所述的行为预测方法，其特征在于，所述基于目标对象在所述每帧图像中的多个目标二维关键点信息，确定所述目标对象在所述目标图像中多个三维关键点信息，包括：

将所述目标对象在所述每帧图像中的多个目标二维关键点信息，输入训练好的第一神经网络，经过所述第一神经网络对输入的多个目标二维关键点信息进行处理，确定所述目标对象在所述目标图像中多个三维关键点信息。

4.根据权利要求3所述的行为预测方法，其特征在于，还包括训练所述第一神经网络的步骤：

获取包括第一样本图像的第一样本视频片段，和第一样本对象在所述第一样本图像中的多个标准三维关键点信息，其中，所述第一样本视频片段还包括所述第一样本图像的前N帧图像；

基于所述多个标准三维关键点信息，确定所述第一样本对象在所述第一样本视频片段的每帧图像中的多个样本二维关键点信息；

将确定的所述多个样本二维关键点信息输入待训练的第一初始神经网络，经过所述第一初始神经网络对输入的多个样本二维关键点信息进行处理，确定所述第一样本对象在所述第一样本图像中的多个预测三维关键点信息；

基于所述多个预测三维关键点信息与所述多个标准三维关键点信息之间的误差信息，调整所述第一初始神经网络的网络参数；

在训练完成后得到所述第一神经网络。

5.根据权利要求4所述的行为预测方法，其特征在于，所述确定所述第一样本对象在所述第一样本视频片段的每帧图像中的多个样本二维关键点信息，包括：

获取拍摄所述第一样本视频片段的拍摄设备的设备参数信息；

基于所述设备参数信息和所述多个标准三维关键点，分别确定所述第一样本对象在所述第一样本视频片段的每帧图像中的多个样本二维关键点信息。