[发明专利]一种基于注意力机制的图神经网络行人轨迹预测方法在审
申请号: | 202111171633.5 | 申请日: | 2021-10-08 |
公开(公告)号: | CN113888638A | 公开(公告)日: | 2022-01-04 |
发明(设计)人: | 曹云依;杨欣;陈思哲;朱义天;李恒瑞;周大可 | 申请(专利权)人: | 南京航空航天大学 |
主分类号: | G06T7/73 | 分类号: | G06T7/73;G06N3/04 |
代理公司: | 江苏圣典律师事务所 32237 | 代理人: | 贺翔 |
地址: | 211106 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 注意力 机制 神经网络 行人 轨迹 预测 方法 | ||
1.一种基于注意力机制的图神经网络行人轨迹预测方法,其特征在于,包括以下步骤:
S1:采集行人轨迹信息,提取轨迹运动特征,构建行人轨迹原始节点图,其中所述行人轨迹原始节点图包含行人轨迹的空间信息和时间信息;
S2:对所述行人轨迹原始节点图进行融合、舍弃和放大,过滤出对形成行人轨迹影响重大的信息,生成行人轨迹最终节点图,其中所述融合、舍弃和放大由图通道注意力机制完成;
S3:利用时空图卷积神经网络提取行人轨迹最终节点图的时空特征,根据所述时空特征构建行人轨迹的原始时空特征图,并利用图通道注意力机制筛选出重要的时空特征组成新的时空特征图;
S4:将所述新的时空特征图输入预测器,预测器输出预测的预设时间内的行人轨迹,其中所述预测器采用时间外推神经网络,预测的行人轨迹包含多种不同结果;
S5:给所述预测的行人轨迹分配权重,以权重最大的轨迹作为最终的预测结果,其中所述分配权重由时间通道注意力机制完成。
2.根据权利要求1所述的基于注意力机制的图神经网络行人轨迹预测方法,其特征在于,所述行人轨迹原始节点图的表示为:
Gt=(Vt,Et),其中,Vt表示第t帧的行人轨迹图的节点的相关信息,Et表示第t帧的行人轨迹图的边的相关信息,其中边表示节点之间的交互关系。
3.根据权利要求2所述的基于注意力机制的图神经网络行人轨迹预测方法,其特征在于:
当两个节点之间存在边,则给所述边赋一个权值所述权值表示节点之间交互的强度,由核函数生成,所述核函数为:
其中,表示第t帧行人轨迹图中节点i和节点j之间的欧式距离。
4.根据权利要求1所述的基于注意力机制的图神经网络行人轨迹预测方法,其特征在于,S2所述图通道注意力机制采用图卷积通道注意力模块对行人轨迹原始节点图的结构信息进行筛选,其中,所述图卷积通道注意力模块更关注通道之间的关系,通过学习机制识别并筛选出重要的通道特征,抑制不重要的通道特征。
5.根据权利要求1所述的基于注意力机制的图神经网络行人轨迹预测方法,其特征在于,S3所述利用时空图卷积神经网络提取行人轨迹最终节点图的时空特征需要将邻接矩阵At归一化,即令其中所述邻接矩阵At为边的权值的集合,Λt为对角矩阵。
6.根据权利要求1所述的基于注意力机制的图神经网络行人轨迹预测方法,其特征在于,S3所述时空图卷积神经网络在平面图或特征图上定义的卷积运算的表达式如下:
其中,σ代表激活函数,k代表内核的大小,p代表采样函数,l表示层数;基于所述时空图卷积神经网络在平面图或特征图上的卷积运算的表达式,所述行人轨迹最终节点图的卷积运算表达式如下:
其中,是规范化术语,B(vi)={vi|d(vi,vj)≤D}是节点的邻居集。
7.根据权利要求1所述的基于注意力机制的图神经网络行人轨迹预测方法,其特征在于,S4所述预测器对所述新的时空特征图的时间维度进行卷积操作。
8.根据权利要求1所述的基于注意力机制的图神经网络行人轨迹预测方法,其特征在于,S5所述时间通道注意力机制不仅考虑到通道自身,还考虑到该通道的相邻通道,通过一维卷积完成通道权重的计算,其中相邻通道的个数与通道的尺寸有关,采用指数族函数处理相邻通道的个数与通道的尺寸映射问题,即C=φ(k)≈2^(γ*k-b),其中,k表示相邻通道的个数,C表示通道的尺寸,则k的自适应算法表达式如下:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京航空航天大学,未经南京航空航天大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111171633.5/1.html,转载请声明来源钻瓜专利网。