[发明专利]一种基于条件变分生成对抗网络的行人轨迹预测方法

权利要求书

1.一种基于条件变分生成对抗网络的行人轨迹预测方法，其特征在于，包括以下步骤：

步骤S1、对语义地图中的环境信息进行特征提取；

将语义地图信息输入至卷积神经网络中，输出高维的环境特征信息；对所述环境特征信息依次进行拉平和全连接层调整，获取环境特征向量；

步骤S2、从预测行人的历史轨迹序列中提取特征信息；

对给定的预测行人观测轨迹进行识别；采用LSTM编码器提取出特定行人在时间轴上表现出的相关特性信息；对于每个时刻t，编码器首先将当前行人的位置通过全连接层从坐标空间转化到特征空间，得到嵌入向量然后按时序输入到LSTM中编码，重复该过程直到将观测序列t＝1,2,…,T_obs时刻的信息全部编码完毕，即得到给定行人轨迹的编码信息；经拉平且经全连接层调整后，输出历史行人轨迹特征向量；

步骤S3、基于场景物理环境对行人轨迹的约束和影响，融合条件变分自编码器CVAE和条件生成对抗网络CGAN，设计条件变分生成对抗网络模型Context-CVGN，实现行人轨迹预测。

2.根据权利要求1所述的一种基于条件变分生成对抗网络的行人轨迹预测方法，其特征在于，所述步骤S1中获取环境特征向量的具体步骤包括：

步骤S1.1、提取语义地图环境特征，具体表示如下：

V_feature＝CNN(I_sem)

采用CNN卷积神经网络进行特征提取，其中V_feature代表从输入语义地图I_sem到CNN中得到的特征图，该特征图抽象语义地图中的特征信息，是高维的信息表示；

步骤S1.2、将高维的特征信息依次进行拉平和全连接层调整，获取环境特征向量，具体表示如下：

V_flatten＝flatten(V_feature)

V_context＝FC(V_flatten)

其中flatten()代表拉平操作，FC()代表全连接层调整，输出信息V_context即是经拉平且经全连接层调整后得到的环境特征向量，得到的信息可以供后续网络继续训练和使用。

3.根据权利要求2所述的一种基于条件变分生成对抗网络的行人轨迹预测方法，其特征在于，采用预训练过的ResNet18作为CNN卷积神经网络；经拉平且经全连接层调整后得到长为256的环境特征向量V_context。

4.根据权利要求2所述的一种基于条件变分生成对抗网络的行人轨迹预测方法，其特征在于，所述步骤S2中从预测行人的历史轨迹序列中提取特征信息，具体步骤包括：

步骤S2.1、首先对行人在每一时刻的2D坐标信息进行全连接嵌入编码，表达式如下：

其中W_embedding为全连接嵌入层的参数，表示t时刻第i个行人的位置坐标信息，FC表示全连接层，表示行人的时间编码特征；

步骤S2.2、将行人的时间编码特征按照时间序列输入至LSTM，表示形式如下：

其中，LSTM表示长短期记忆网络，表示观测轨迹序列下隐藏状态的向量特征，W_en为LSTM编码器的参数；

最终输出的行人历史轨迹特征向量为LSTM编码器最后一层的隐藏状态输出，表达如下：

对输出信息V_trajectory采用如步骤S1.2的拉平及全连接层调整操作，获取长为256的历史行人轨迹特征向量。

5.根据权利要求4所述的一种基于条件变分生成对抗网络的行人轨迹预测方法，其特征在于，所述步骤S3中条件变分生成对抗网络模型Context-CVGN设计方法如下：

步骤S3.1、将步骤S1中获取的环境特征向量V_context和步骤S2中获取的历史行人轨迹特征向量V_trajectory进行特征融合，作为条件变分网络的推断，表达式如下：

V_vae＝concat(V_trajectory,V_context)

其中，concat(·)表示将轨迹特征信息与语义特征信息拼接；

步骤S3.2、由变分推断生成概率分布隐变量空间，并从中进行随机采样，作为输出特征的预测值，表达式如下：

Z＝sample(VAE(V_vae))

其中，VAE(·)为变分自编码器拟合正态分布，sample(·)表示从拟合的隐变量特征空间中进行随机采样，以特定分布概率输出轨迹进行特征预测；Z代表从变分推断的角度采取方法得到采样的预测轨迹的特征信息；

步骤S3.3、分别计算出融合条件变分自编码器CVAE和条件生成对抗网络CGAN下进行全连接层的行人预测轨迹特征输出，表达如下：

X_pred-CVAE＝FC(Z,V_context)

X_pred-CGAN＝FC(V_vae,V_context)

由于条件变分自编码器CVAE和条件生成对抗网络CGAN两种架构在解码生成预测轨迹方面各自的优势，在设计条件变分生成对抗网络模型Context-CVGN中，使用设定超参数为各模型的权重系数的方法融合两种架构，使得模型能够调整从采样推断和生成对抗得到用于轨迹预测的比例，结合条件变分自编码器CVAE和条件生成对抗网络CGAN的架构优点进行自适应更新与训练，完成条件变分生成对抗网络模型Context-CVGN设计。