[发明专利]一种多源异构传感器特征深度融合的装置及方法

说明书

本发明提供一种多源异构传感器特征深度融合的装置及方法，涉及人工智能技术领域。其装置包括N个激光雷达及机器视觉的多源异构传感器阵列、ZYNQ‑7000平台、FLASH大型存储芯片。通过多源异构多种传感器获取目标的多维数据特征，在ZYNQ‑7000平台，通过不同的多源异构传感器的坐标特征变换，形成具有统一维度的特征空间，通过建立深度学习网络，将多源异构传感器进行融合，实现机器视觉与激光雷达目标捕获、信息提取与特征分类及融合。本发明为无人机器目标特征识别及决策控制提供准确、可靠、具有鲁棒性的环境数据，对提高主动避撞识别系统性能、减少碰撞事故发生具有重要意义。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种多源异构传感器特征深度融合的装置及方法。

背景技术

当前，无人机器数量的持续增加使得各种事故频繁发生，造成严重的生命财产损失。其原因是无人机器所采用的单一传感器，如雷达、视觉等，并不能完整获取目标信息。针对信息的运动状态、距离状态、位置状态等特征状态，无法进行全面感知。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种多源异构传感器特征深度融合的装置及方法，基于深度学习技术，通过深度学习模型完成空间、时间特征信息融合算法，为无人机器目标特征识别及决策控制提供准确、可靠、具有鲁棒性的环境数据，对提高主动避撞识别系统性能、减少碰撞事故发生具有重要意义。

为解决上述技术问题，本发明所采取的技术方案是：

一方面，本发明提供一种多源异构传感器特征深度融合的装置，包括N个激光雷达及机器视觉的多源异构传感器阵列、ZYNQ-7000平台、FLASH大型存储芯片；ZYNQ-7000平台包括ARM Cortex A9双核、FPGA逻辑计算单元；N个激光雷达及机器视觉的多元传感器阵列通过光口或者网口与ARM Cortex A9双核实现连接；FPGA逻辑计算单元外接FLASH大型存储芯片；

多源异构传感器阵列用于获取目标的多维数据特征；FPGA逻辑计算单元，用于实现机器视觉与激光雷达目标捕获、信息提取与特征分类及融合，包括目标识别及分类模块、空间坐标变换模块、信息融合模块、行为决策模块；目标识别及分类模块用于配合FLASH大型存储芯片实现目标识别以及特征库匹配建立及学习；空间坐标变换模块用于实现激光雷达通过坐标映射形成统一的信息平面，并实现机器视觉模块坐标系和像素坐标系之间的转换关系；信息融合模块用于建立深度神经网络，构建雷达捕获目标特征空间融合模型，同时多源传感器进行特征校正，构建多传感器数据时间融合模型，将多源异构传感器数据进行融合，并且通过空间模型校正；行为决策模块用于利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度神经网络在感兴趣区域内进行搜索完成目标识别对象的检测，并当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。

进一步地，所述多源异构传感器阵列中的激光雷达采用固态激光雷达Leddar Vu，实现8线光束数量，可实现的最大探测距离为185米；所述多源异构传感器阵列中的机器视觉采用红外高清网络摄像机海康威视DS-2CD3T25-I3。

另一方面，本发明还提供一种多源异构传感器特征深度融合的方法，采用上述的多源异构传感器特征深度融合的装置实现，该方法具体如下：

通过多源异构多种传感器获取环境信息，即获取目标的多维数据特征，具体通过激光雷达获取目标距离、轮廓特征，这些数据特征位于雷达二维扫描平面坐标系中，通过雷达二维成像空间，给出目标障碍物相对空间位置；通过机器视觉获取目标像素特征；