[发明专利]一种多源异构传感器特征深度融合的装置及方法

权利要求书

1.一种多源异构传感器特征深度融合的装置，其特征在于：包括N个激光雷达及机器视觉的多源异构传感器阵列、ZYNQ-7000平台、FLASH大型存储芯片；ZYNQ-7000平台包括ARMCortex A9双核、FPGA逻辑计算单元；N个激光雷达及机器视觉的多元传感器阵列通过光口或者网口与ARM Cortex A9双核实现连接；FPGA逻辑计算单元外接FLASH大型存储芯片；

多源异构传感器阵列用于获取目标的多维数据特征；FPGA逻辑计算单元，用于实现机器视觉与激光雷达目标的捕获、以及信息提取与特征分类及融合，包括特征的目标识别及分类模块、空间坐标变换模块、信息融合模块、行为决策模块，目标识别及分类模块用于实现目标识别以及特征库匹配建立，空间坐标变换模块用于实现激光雷达通过坐标映射形成统一的信息平面，并实现机器视觉模块坐标系和像素坐标系之间的转换关系，信息融合模块用于建立深度神经网络，构建雷达捕获目标特征空间融合模型，同时多源传感器进行特征校正，构建多传感器数据时间融合模型，将多源异构传感器数据进行融合，并且通过空间模型校正；行为决策模块用于利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度神经网络在感兴趣区域内进行搜索完成目标识别对象的检测，并当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。

2.根据权利要求1所述的多源异构传感器特征深度融合的装置，其特征在于：所述多源异构传感器阵列中的激光雷达采用固态激光雷达Leddar Vu，实现8线光束数量，可实现的最大探测距离为185米；所述多源异构传感器阵列中的机器视觉采用红外高清网络摄像机海康威视DS-2CD3T25-I3。

3.一种多源异构传感器特征深度融合的方法，其特征在于：采用权利要求1述的多源异构传感器特征深度融合的装置实现，该方法具体如下：

通过多源异构多种传感器获取环境信息，即获取目标的多维数据特征，具体通过激光雷达获取目标距离、轮廓特征，这些数据特征位于雷达二维扫描平面坐标系中，通过雷达二维成像空间，给出目标障碍物相对空间位置；通过机器视觉获取目标像素特征；

根据激光雷达与机器视觉相对固定位置，通过距离建立的先验知识，通过贝叶斯网络的先验模型，形成训练深度学习网络，通过训练完成的深度学习网络，建立激光雷达坐标系和机器视觉坐标系间的转换关系，进而构建雷达捕获目标特征空间融合模型；将机器视觉的二维识别目标像素点，在雷达二维平面进行映射，根据计算机机器视觉环境相关识别算法及机器视觉成像原理，通过深度融合网络，建立机器视觉坐标系与像素坐标系间的线性转换关系；同时考虑到机器视觉对目标成像的畸变现象，通过先验的机器视觉训练库进行非线性畸变校正；结合以上两种转换关系，实现激光雷达坐标系和机器视觉图像像素坐标之间的转换；

结合其他多源传感器，形成特定场景的目标特征获取，进行特征校正，构建多传感器数据时间融合模型，并且通过空间模型校正；其他多源传感器包括声学传感器、红外传感器、热成像传感器、GPS；

利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度学习网络在感兴趣区域内进行搜索完成目标识别对象的检测；当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。