[发明专利]一种基于深度学习的无人艇感知融合算法

权利要求书

1.一种基于深度学习的无人艇感知融合算法，其特征在于：包括如下步骤：

步骤一、对摄像头采集的单帧图像进行目标检测：利用卷积神经网络SSD框架对目标进行检测，获取目标的类别、数量、方位信息，得到机器视觉数据；

步骤二、激光雷达信号处理：将激光雷达输入的数据进行滤波、聚类，将离散的点聚类为目标信息，得到雷达数据；

步骤三、将雷达数据和机器视觉数据进行数据关联：步骤一和步骤二分别处理完摄像头和雷达的数据后，将两者的观测目标进行匹配，建立雷达数据和机器视觉数据的数据关联模型，得到雷达和视觉测量目标的关联矩阵，通过雷达和视觉测量目标的关联矩阵筛选出关联程度较大的目标，进而实现对目标的感知；

所述步骤三具体包括：

步骤3.1：空间配准，雷达和摄像机安装在无人艇的不同位置，并且两者采用的坐标系也不一样，所以在将两者信息融合之前，需要将两者的信息转化到统一的坐标系进行分析；

其中，y_b为b点在图像平面的Y轴坐标，Y_B为B点在摄像头坐标系上的Y轴坐标，D为雷达和摄像头在水平安装位置的高度差，对于雷达扫描不同距离的目标，可知其投影在成像平面上点的纵坐标的位置；

步骤3.2：时间配准，采用线程同步的方式，将各传感器数据统一到扫描周期较长的一个传感器数据上，融合中心每次先接收图像的数据，通过指令采集图像数据相对应的雷达数据，当图像数据的线程返回信息时，融合中心立即获取当前时刻的雷达数据，循环整个过程，使采集到的数据是时间同步；

步骤3.3：在雷达和摄像头进行了时间和空间配准的基础上，设在雷达和摄像头的联合直角坐标系中的目标动态模型为：

x_k+1＝F_kx_k+w_k

其中，x_k+1和x_k为状态向量，F_k为状态转移矩阵，w_k为过程噪声，w_k是零均值、方差为Q的Gauss白噪声，即满足：

其中，δ_kj是Kronecker delta函数，设雷达为传感器1，摄像头为传感器2，传感器的测量模型为：

当i＝1时对应雷达测量，其中r_k，分别表示标距离雷达的平均距离、方位角集合；当i＝2时对应摄像头的测量，其中表示方位角集合，φ_k表示俯仰角集合，c_k表示类别，雷达量测目标的俯仰角和距离之间的关系有：

其中，为雷达探测到目标的俯仰角，而D为摄像头和雷达的高度差；

步骤3.4：设传感器i在k时刻的共有个目标回波对应的测量集为：

构造和的关联矩阵为：

其中为测量值之间的相似度，计算公式如下：

步骤3.5：得到相关联的观测集合：

其中G为是否相互关联的门限值，大于该值才有可能相关，每个目标在所有相关联的可能性中选择相似程度最大的目标与之关联。