[发明专利]一种基于深度学习的人体朝向预测方法及装置

权利要求书

1.一种基于深度学习的人体朝向预测方法，其特征在于，包括：

在对人体朝向数据库进行训练时，通过卷积神经网络和门结构的循环神经网络计算所述人体朝向数据库中每一张图片的人体朝向预测值；

计算所述人体朝向预测值与人体朝向真实值的偏差；

根据权重序列损失函数：确定所述人体朝向数据库中所有图片的整体偏差L_wei，其中，x′_i＝x_i-max(x₁,…,x_n)，L_n表示所述人体朝向数据库中的第n张图片的人体朝向的偏差，W_n表示权重损失函数的权重，x_i表示第i张图片的空间特征；

在判断所述整体偏差L_wei大于或等于预设阈值时，重新对所述人体朝向数据库进行训练，返回所述通过卷积神经网络和门结构的循环神经网络计算所述人体朝向数据库中每一张图片的人体朝向预测值的步骤，直至所述整体偏差L_wei小于所述预设阈值；

在判断所述整体偏差L_wei小于所述预设阈值时，建立行人时空特征预测模型；

获取待检测视频对应的帧序列的每一帧中每一个行人的位置；

根据所述位置和预先建立的行人时空特征预测模型，通过卷积神经网络提取所述每一个行人的空间特征；

根据所述空间特征和所述行人时空特征预测模型，通过门结构的循环神经网络提取所述帧序列的时间特征，得到所述每一个行人的时空特征；

提取所述时空特征中的方向特征，得到所述每一个行人的人体朝向。

2.根据权利要求1所述的基于深度学习的人体朝向预测方法，其特征在于，所述根据所述空间特征和所述行人时空特征预测模型，通过门结构的循环神经网络提取所述帧序列的时间特征，得到所述每一个行人的时空特征，包括：

如果t-1时刻所述门结构的循环神经网络模型输出的时空特征为h_t-1，t时刻所述门结构的循环神经网络模型输入的空间特征为x_t，

根据公式：

z_t＝sigmoid(W_zx_t+U_zh_t-1+b_z)，

r_t＝sigmoid(W_rx_t+U_rh_t-1+b_r)，确定t时刻门结构的循环神经网络模型输出的时空特征h_t，

其中，z_t表示t时刻更新门的输出结果，r_t表示t时刻重置门的输出结果，所述更新门、所述重置门和隐藏层位于所述门结构的循环神经网络模型中，表示中间变量，⊙表示向量之间的点乘，W_z表示更新门的空间特征x_t的权重，U_z表示更新门的时空特征h_t-1的权重，b_z表示更新门的惩罚量，W表示隐藏层的空间特征x_t的权重，U表示隐藏层r_t和h_t-1的点乘的权重，b_h表示隐藏层的惩罚量，W_r表示重置门的空间特征x_t的权重，U_r表示重置门的h_t-1的权重，b_r表示重置门的惩罚量。

3.根据权利要求1所述的基于深度学习的人体朝向预测方法，其特征在于，所述获取待检测视频对应的帧序列的每一帧中每一个行人的位置，包括：

通过基于区域的全卷积网络R-FCN提取所述每一个行人的位置。

4.根据权利要求1所述的基于深度学习的人体朝向预测方法，其特征在于，所述提取所述时空特征中的方向特征，得到所述每一个行人的人体朝向，包括：

通过卷积神经网络提取所述时空特征中的方向特征，得到所述每一个行人的人体朝向。