[发明专利]一种基于概念学习的透彻感知与动态理解方法

说明书

本发明提出一种基于概念学习的透彻感知与动态理解方法，本发明以深度学习为基础的场景分析与信息挖掘是目前信息科学的前沿领域，已成功应用于各类场景的分割、分类及识别中，并取得了大量优秀成果；在特征提取的基础上，基于贝叶斯网络的静态推理已在图像诊断或理解中得到应用，这为自动提取场景多源多模态特征并在概念框架下进行推理提供了可行性。在此基础上，同时基于机器人协同动态推理与感知耦合，可有效解决大空间复杂场景的动态感知与深度理解问题，在准确性方面远高于使用单一深度神经网络及静态推理的性能。

技术领域

本发明属于图像理解技术领域，特别是涉及一种基于概念学习的透彻感知与动态理解方法。

背景技术

在世界各地，地震、台风、海啸以及恐怖活动等突发性灾难事故频发，集群机器人在解决应急搜救问题上具有重大优势。

机器人应用的技术瓶颈是如何针对大范围复杂动态场景，完成无人操控下的环境感知、深度理解与精准操控。

目前国内外对于环境理解的研究有两个方向：一是三维全景场景理解，以单帧点云作为输入，结合小范围上下文模板关系可完成对小场景的理解。但是该方法面对大空间范围的全景场景理解，所需模板复杂度将指数级扩大，导致无法应用。二是针对静态图片进行事件识别，通过融合静态图片的多个浅层特征，结合机器学习分类算法进行事件检测。而现有研究未能在大范围复杂动态场景下，建立物体、行为、事件之间的深度理解框架。

总结目前的技术现状：系统利用多种传感器感知环境，通过信息处理完成特征提取以及基本语义的理解。但无法在大范围复杂动态场景下建立物体、行为、事件之间的深度理解关系，无法实现真正意义下的智能无人操控。基于此，提出一种基于概念学习框架的透彻感知与动态理解方法。

发明内容

本发明目的是为了解决现有技术中的问题，提出了一种基于概念学习的透彻感知与动态理解方法；本发明的目的在于建立一种透彻协同感知机制，形成大范围场景高级语义理解框架，建立复杂场景动态知识图谱，提供场景快速推理方法。

本发明是通过以下技术方案实现的，本发明提出一种基于概念学习的透彻感知与动态理解方法，所述方法包括以下步骤：

步骤一：基于深度学习与时序贝叶斯迭代训练构建大范围“场景-目标-行为”的静-动态概念关系模型，所述静-动态概念关系模型能够透彻反映场景属性、人物行为和事件关联的抽象关系，全面掌控大范围复杂场景动态；

步骤二：基于贝叶斯网络的概率图模型推理及场景深度理解技术，结合训练好的静-动态概念关系模型和环境上下文，预测目标行为状态；

步骤三：按照集群机器人任务为指引，以静-动态概念关系模型推理置信度最高为原则，设计机器人分布式协同策略，通过优化传感器配置实现对场景目标与态势的透彻感知与深度理解；

步骤四：按照任务执行指令为指引，驱动机器人对执行任务完成精准操控。

进一步地，所述步骤一具体为：

步骤1.1、对集群机器人采集的场景RGB-D图像进行拼接，并将拼接后的场景分解为一定空间尺度的场景信息，所述尺度的设定由场景所含信息量、场景延迟时间和计算复杂度来决定；

步骤1.2、利用深度学习训练静态场景模型，提取场景中包含的语义概念及从属于该语义概念的结构和属性，建立“场景-目标”的静态概念模型；

步骤1.3、将语义概念作为贝叶斯网络节点，语义概念之间的相互关系作为网络的有向边，用条件概率表达关系强度，加入时间维度信息，利用时序贝叶斯迭代对场景中语义间的动态关系进行描述，建立“目标-行为”的动态关系模型；

步骤1.4、基于信息论将静态概念模型与动态关系模型进行统一。

进一步地，所述步骤二具体为：