[发明专利]一种基于视觉传感的自动驾驶系统及方法

权利要求书

1.一种基于视觉传感的自动驾驶方法，其特征在于，包括以下步骤：

S1、通过车辆前方的摄像头采集视频数据；

S2、采集视频数据中每一帧中人体的K个关节的二维位置坐标，并将多个帧的位置信息组成一个序列；

S3、将S2得到的序列输入神经网络分别对骨架坐标的时间动态特性和空间相对关系建模；

S4、将两个神经网络的输入进行融合，并使用支持向量机方法对人体行为进行分类，预测下一时刻人体位置；

S5、采集地图数据、车辆传感器数据、以及车辆当前位置和目的地位置信息；

S6、根据采集的信息建立路径模型，根据预测的人体位置使用基于人工势场的粒子群算法更新每个时刻车辆行进路线；

S7、判断车辆是否到达目的地，若到达则结束自动驾驶；否则返回步骤S5。

2.根据权利要求1所述的一种基于视觉传感的自动驾驶方法，其特征在于，对骨架坐标的时间动态特性进行建模包括：

每个时刻的关键点坐标拼接成一个向量，采用RNN网络学习坐标随着时间的变化；

使用多层RNN模型将RNN网络堆叠起来，上一层RNN网络的输出作为下一层RNN网络的输入，堆叠层数为2～3层，学习整人体运动规律，RNN网络表示为：

T(T₁,T₂,...,T_k,...,T_K)＝H(g(T₁,W₁),g(T₂,W₂),...,g(T_k,W_k),...,g(T_K,W_K))；

其中，T(T₁,T₂,...,T_k,...,T_K)表示时间序列，为从视频流中等间隔抽取出来的序列，T_k为关键点k在时间序列上的位置拼接成的向量；W_k为向量T_k对应的网络参数；g(·)为RNN网络的激活函数；H(·)为RNN网络的Softmax函数。

3.利要求1所述的一种基于视觉传感的自动驾驶方法，其特征在于，对骨架坐标的空间相对关系进行建模包括：

使用chain sequence方法，根据物理连接关系，将人体关键点根据关节点位于双手、躯干和双脚划分为三个序列把这三个序列串接成一个序列数据，利用RNN网络学习不同坐标点之间的连接关系，表示为：

S(S₁,S₂,...,S_k,...,S_K)＝H(g(S₁,W₁),g(S₂,W₂),...,g(S_k,W_k),...,g(S_K,W_K))；

其中，S(S₁,S₂,...,S_k,...,S_K)表示空间序列，为一帧中所有关键点在空间坐标上位置拼成的向量，S_k为所有关键点在第k时刻的空间坐标向量；W_k为向量T_k对应的网络参数；g(·)为RNN网络的激活函数；H(·)为RNN网络的Softmax函数。

4.根据权利要求1所述的一种基于视觉传感的自动驾驶方法，其特征在于，根据预测的人体位置使用基于人工势场的粒子群算法更新每个时刻车辆行进路线包括：

使用随机粒子来当作车辆未来行进方向，跟踪最好位置的粒子记作g_best，进行多次迭代后得到此时刻车辆的速度和位置；

针对预测的人体位置，利用人工势场对此时刻车辆的速度和位置进行优化，得到此时刻车辆最优的速度和位置。