[发明专利]视频处理方法及相关装置，图像处理方法及相关装置

权利要求书

1.一种视频处理方法，其特征在于，所述方法应用于视频处理设备，所述方法包括：

获取待处理视频，所述待处理视频中的视频帧包括身份待识别的对象；

根据所述待处理视频生成第一步态能量图；

获取身份已知的对象的视频的第二步态能量图；所述第一步态能量图和第二步态能量图分别对应唯一的标识；

将所述第一步态能量图和第二步态能量图输入深度神经网络，进行第一步态识别；

其中，所述第一步态识别包括：

提取所述第一、第二步态能量图对应的身份信息，以及，所述第一步态能量图和第二步态能量图的融合步态特征向量；至少根据提取的融合步态特征向量计算所述第一、第二步态能量图的相似度；

所述第一步态能量图的身份信息包括所述第一步态能量图的标识和所述第一步态能量图的步态特征向量，所述第二步态能量图的身份信息包括所述第二步态能量图的标识和所述第二步态能量图的步态特征向量；所述融合步态特征向量由所述第一步态能量图和第二步态能量图的步态特征向量决定；

所述深度神经网络在训练过程中根据身份信息和融合步态特征向量进行了滤波器参数调整；所述训练过程的训练目标包括：从同一对象的不同步态能量图中提取的步态特征向量相似，从不同对象的步态能量图中提取的步态特征向量相远离；所述训练过程中使用的每一训练样本包括n个训练子样本，任一所述训练子样本包括两幅身份已知的对象的步态能量图，所述n为正整数；

所述深度神经网络的训练过程包括：

使用所述深度神经网络对所述训练样本中的每一训练子样本执行第二步态识别；其中，所述第二步态识别包括：提取所述训练子样本中两幅步态能量图各自的身份信息以及所述两幅步态能量图的融合步态特征向量，并至少根据提取的融合步态特征向量计算所述两幅步态能量图的相似度；

根据在所述第二步态识别中提取的身份信息，使用身份信息损失函数计算所述训练样本的身份损失值；所述身份损失值越小，表征从同一对象不同步态能量图中提取的步态特征向量越相似，而从不同对象的步态能量图中提取的步态特征向量越远离；

使用融合步态特征向量损失函数计算所述训练样本的融合损失值；

对所述融合损失值和身份损失值求加权和，得到所述训练样本的最终损失值；

根据至少一个训练样本的最终损失值调整所述深度神经网络的滤波器参数。

2.如权利要求1所述的方法，其特征在于，

所述n＝3，所述训练样本包括第一至第三训练子样本，所述第一至第三训练子样本的组合方式包括：

第一组合方式：所述第一训练子样本中的两幅步态能量图对应同一对象；所述第二训练子样本中的两幅步态能量图对应不同的对象；所述第三训练子样本中的两幅步态能量图对应不同的对象；

或者，

第二组合方式：所述第一训练子样本中的两幅步态能量图对应同一对象；所述第二训练子样本的两幅步态能量图对应所述同一对象；所述第三训练子样本中的两幅步态能量图对应不同的对象。

3.如权利要求2所述的方法，其特征在于，当所述第一至第三训练子样本为所述第一种组合方式时，所述身份信息损失函数包括：

其中，Lu表示身份损失值，η表示系数，表示欧氏距离；

p、g、p′、g′、p″和g″表示步态能量图的标识，Xp和Xg表示第一训练子样本中的一对步态能量图，Xp′和Xg′表示第二训练子样本中的一对步态能量图，Xp″和Xg″表示第三训练子样本的一对步态能量图，并且，Xp与Xp′对应同一对象，Xp与Xp″对应不同对象；

U(Xp)至U(Xg″)表示各步态能量图的步态特征向量。

4.如权利要求2所述的方法，其特征在于，当所述第一至第三训练子样本为所述第二种组合方式时，所述身份信息损失函数包括：

其中，Lu表示身份损失值，η表示系数，表示欧氏距离；

p、g、p′、g′、p″和g″表示步态能量图的标识，Xp和Xg表示第一训练子样本中的一对步态能量图，Xp′和Xg′表示第二训练子样本中的一对步态能量图，Xp″和Xg″表示第三训练子样本的一对步态能量图，并且，Xp与Xp′对应同一对象，Xp与Xp″对应不同对象；

U(Xp)至U(Xg″)表示各步态能量图的步态特征向量。