[发明专利]一种基于互信息的自适应多传感器数据融合方法及系统

权利要求书

1.一种基于互信息的自适应多传感器数据融合方法，所述方法包括：

接收相机采集路面的RGB图像；

接收激光雷达同步采集该路面的点云数据；

对点云数据进行预处理得到稠密点云数据；

将RGB图像和稠密点云数据输入预先建立和训练好的融合网络，输出数据融合结果；

所述融合网络，用于计算输入数据的特征张量与预期特征的互信息，根据互信息分配输入数据的融合权重，进而根据融合权重输出数据融合结果；所述预期特征为期望数据中含有的特征；

所述融合网络包括互信息计算模块，所述互信息计算模块的具体实现过程为：

根据随机变量X、Y计算互信息I(X；Y)：

其中，p(x,y)是随机变量X和Y的联合概率密度函数，p(x)为随机变量X的边缘概率密度函数，p(y)为随机变量Y的边缘概率密度函数；

将互信息I(X；Y)表示为KL散度形式：

其中，

其中，D_KL(·)表示互信息的KL散度，P_X为随机变量X的概率，P_Y为随机变量Y的概率，P_XY为随机变量X和Y的联合概率，表示P_XY的期望值；

将P_XY记为J，记为M；

根据KL散度的DV分布形式及性质得到互信息下限

其中，T_ω:x×y→R为含参数ω的函数，E_J表示T_ω(x,y)的期望值，E_M表示的期望值，由该函数计算出的互信息下限足够接近实际值，该函数具体实现如下：

第一分支的特征张量X₁的形式为(C,H₁,M₁,N₁)，其中，C为第一分支的通道数，(H₁,M₁,N₁)表示C个特征图，H₁,M₁,N₁分别表示第一分支特征张量X₁在三个维度上的数值，记为X_1,n，n＝1，…，C，n为第一分支的通道序号，由互信息下限计算公式得到第一分支第n个通道的互信息下限为：

其中，为H₁·H₁对角阵，矩阵U₁＝X_1,n·Y，u_1,n为U₁中元素，u_1,max为U₁中各元素的最大值，u_1,avg为U₁各元素的平均值，令根据第一分支有C个通道，由此得到第一分支互信息I(X₁；Y)：

第二分支特征张量X₂的形式(D,H₂,M₂,N₂)，其中，D为第二分支的通道数，(H₂,M₂,N₂)表示D个特征图，H₂,M₂,N₂分别表示第二分支特征张量X₂在三个维度上的数值，记为X_2,m，m＝1，…，D；m为第二分支的通道序号，由互信息下限计算公式得到第二分第m个通道的支互信息下限为：

其中，为H₂·H₂对角阵，矩阵U₂＝X_2,m·Y，u_2,m为U₂中元素，u_2,max为U₂中各元素的最大值，u_2,avg为U₂各元素的平均值，令根据第二分支有D个通道，由此得到第二分支的互信息I(X₂；Y)：