[发明专利]一种行人交互友好型的单目避障方法

权利要求书

1.一种行人交互友好型的单目避障方法，其特征在于，该方法为无人机利用单目摄像头采集图片，所述图片输入至端到端策略的并行深度神经网络结构中，该网格结构输出最佳航向角作为无人机避障的飞行指令；

所述端到端策略的并行深度神经网络结构由单目摄像头结合单线激光雷达协同完成，端到端策略的并行深度神经网络结构的具体训练过程为：

步骤一、利用单线激光雷达采集的深度值搜索最佳航向，并为单目摄像头采集的图片打标签，以此标准采集多个样本建立数据集；

步骤二、所述数据集分别输入至Resnet18网络和预训练好的YOLO v3网络中，利用预训练好的YOLO v3网络输出对各图像中行人位置的预测信息；并与Resnet18网络输出数据合并，合并后的数据依次经过隐藏层1～4和输出层，Resnet18网络、训练好的YOLO v3网络、隐藏层1～4和输出层组成并行深度网络结构；

步骤三、利用步骤一的数据集训练步骤二所述并行深度神经网络直至收敛。

2.根据权利要求1所述一种行人交互友好型的单目避障方法，其特征在于，步骤一建立数据集的过程为：

步骤一一、单线激光雷达与单目摄像头同步采集图像(image,lidarData)，其中image和lidarData分别是同一时刻单目摄像头采集的视觉图像和单线激光雷达采集的深度值；

步骤一二、利用单线激光雷达采集的深度值搜索无人机每个时刻最佳航向，并为同时刻视觉图像打标签形成样本图像(image,direction)，其中direction为最佳航向角；

步骤一三、将经过步骤一二处理过的所有样本图像建立数据集。

3.根据权利要求2所述一种行人交互友好型的单目避障方法，其特征在于，步骤一二中利用单线激光雷达采集的深度值搜索无人机每个时刻最佳航向的具体过程为：

direction_n＝mid(max(lidarData_blank)_n) (1)

式中，max(lidarData_blank)_n代表求取t_n时刻单线激光雷达覆盖范围内连续空白区域面积最大的区域，n＝1,2,…

mid(max(lidarData_blank)_n)代表求取区域max(lidarData_blank)_n的中心航向角，将求取出的mid(max(lidarData_blank)_n)作为t_n时刻无人机的最佳航向角direction_n。

4.根据权利要求3所述一种行人交互友好型的单目避障方法，其特征在于，步骤二中利用预训练好的YOLO v3网络输出对各图像中行人位置的预测信息，其具体为：

person_n＝(x_t1,y_t1,x_b1,y_b1,x_t2,y_t2,x_b2,y_b2...x_ti,y_ti,x_bi,y_bi...x_tI,y_tI,x_bI,y_bI) (2)

式中，(x_ti,y_ti,x_bi,y_bi)代表t_n时刻图像中第i个行人预测框在图像中的左上角顶点坐标和右下角顶点坐标，i＝1,2,…,I，I代表t_n时刻图像中的行人总个数，person_n代表t_n时刻图像中全部行人预测框在图像中的左上角顶点坐标和右下角顶点坐标组成的集合。