[发明专利]多源多模动态信息融合与认知方法及系统

说明书

本发明提供了一种多源多模动态信息融合与认知方法及系统，包括：相机图像融合步骤：使用多个相机进行相机图像采集，对采集的图像进行预处理和图像融合，得到图像信息融合结果；雷达信息融合步骤：使用多个雷达进行目标信息采集，将采集的目标信息进行融合和目标检测，得到目标检测结果；声矢量传感器跟踪步骤：使用多个声矢量传感器进行目标声音信号采集，将目标声音信号信息进行融合和目标跟踪，得到目标跟踪结果；雷达信息与视觉信息融合步骤：将图像信息融合结果、目标检测结果和目标跟踪结果进行融合，生成目标感兴趣区域。本发明分别用来采集图像信息、雷达信息和声音信息，三类信息相互结合、优势互补，弥补单一传感器的局限性。

技术领域

本发明涉及防疫机器人技术领域，具体地，涉及一种多源多模动态信息融合与认知方法及系统。尤其地，涉及一种防疫机器人复杂环境多源多模动态信息融合与认知方法。

背景技术

目前在信息技术的大浪潮下，机器人的应用非常普遍，防疫机器人就是其中的一类。防疫机器人在医院和震后区域都发挥着重要角色，它们可以充当“送药员”、“消毒工”等，对于运输携带一些医疗器械，它们也能很好的胜任。由于防疫机器人的工作环境一般比较复杂，所以在防疫机器人身上一般装有多个传感器，多个传感器优势互补，进行信息融合，共同完成防疫任务。

防疫机器人身上装有大量的传感器，传感器的作用相当于人的眼睛、耳朵等器官，主要用来捕获外界信息。信息融合是一种针对多传感器进行信息处理地方法。传感器信息融合是近年来各个国家都研究的重点，世界各国都投入了大量的人力资源和物力对传感器信息融合技术进行理论和实践研究。传感器信息融合按融合种类不同，可以分为两类，一类是同类传感器间的信息融合，另一类是不同类传感器间的信息融合。对于同类传感器信息融合，其主要是为了获得更精确的目标和更广泛的信息；对于异类传感器信息融合，其主要功能是结合各个传感器的优势，对单一传感器的功能进行优势互补，从而可以充分发挥传感器的效果。

多传感器信息融合的示意图如图2所示，利用多传感器信息融合可以实现单个传感器所不能采集到的信息，可以有效扩展系统处理信息的能力，同时利用多传感器提供的冗余信息，可以保证当一个传感器出现故障时，可以利用另一个传感器提供的信息，从而提高系统的鲁棒性。此外，将多个同类传感器或多个异类传感器通过信息融合将信息进行综合处理，能够扩大传感器的探测区域和获得更全面、更精确、不同时刻的信息数据，可以增加系统的探测能力，可以避免采用单传感器造成的信息量测的局限性。

传感器信息融合在具体实施时，主要包括两方面的处理，首先在对传感器的数据进行处理时，需要将同类型的数据进行数据整合，不同类型的数据进行数据类型转换，转换为同类型数据，然后对上一步处理后的数据进行融合的时候，需要采用一些方法对数据结果进行优化，从而可以精确地获得有效信息。

目标检测是用于检测特定目标，利用多传感器信息融合技术，将多传感器测量的数据通过融合算法进行融合，可以获得比单一传感器更精确的信息。信息融合的结构包括数据级融合和特征级融合等，数据级信息融合的传感器要求是同类型的，通过对原始观测信息进行关联，然后进行数据层融合，而特征级融合是对各个传感器观测的目标进行特征提取，然后将提取的特征信息进行融合处理。

声矢量传感器可以用于目标探测、跟踪定位等，与以往的声压传感器不能利用声波振速信息相比，声矢量传感器能够同时获取目标声音的声压和振速信息，可以量测丰富的信息并且方向敏感性比较强。

专利文献CN108392795A(申请号：201810109937.0)公开了一种基于多信息融合的康复机器人多模态控制方法，以患者的生物信息和运动信息作为康复机器人训练参数和控制系统参数调整的依据，训练参数即控制系统的运动指令或给定信号。该方法获取患者的表面肌电信号、脑电信号、心电信号、关节角度、关节角速度、关节力矩、接触力等信息，利用信息融合算法，动态调整训练参数和控制系统参数，自动切换训练模式，能够实现康复机器人的上下肢协同智能控制和柔性控制。

发明内容