[发明专利]一种脑不在环路应用的脑机信息融合分类方法及系统

说明书

本发明属于脑机接口技术应用技术领域，公开了一种脑不在环路应用的脑机信息融合分类方法及系统，所述脑不在环路应用的脑机信息融合分类系统由数据加载装置、图像预处理装置、大脑响应生成装置、图像特征可靠性预测装置和脑机特征融合分类装置组成；与现有技术相比，本发明的大脑响应生成模型利用深度学习技术在特征域构建图像特征到大脑响应特征的预测模型，预测模型整体结构简单，与共享表征空间的方法相比，不需要过多成对的大脑响应和刺激图像数据集就能训练成功，此大脑响应生成模型能够有效的集成到现有的脑机信息融合分类模型中，实现脑不在环路的推理应用，具有较高的实用意义。

技术领域

本发明属于脑机接口技术应用技术领域，尤其涉及一种脑不在环路应用的脑机信息融合分类方法、系统、介质。

背景技术

目前，深度学习技术快速发展，为自动目标识别与检测提供了有力的技术支撑，在如图像分类、目标检测等领域已经取得了超过人类的性能。但是现在的深度学习技术并未完全模拟人类的视觉识别过程，严重依赖于数据驱动，在复杂开放环境(如复杂场景变换、复杂地面环境)下的图像识别仍然困难。基于视觉专家的人工判读仍然是主要的图像识别与分析方法，但是专家的判读行为容易受到疲劳、伤病等环境因素的影响，难以像机器一样满足高强度、实时性、长时间的工作需求。基于脑机接口技术的脑机混合智能计算方法通过构建“脑在环路”的信息处理系统，协同处理大脑响应和基于机器智能的图像表征，实现生物智能与机器智能的信息交互，融合各自所长，为复杂开放环境下的目标识别提供了新的计算范式。但是受人类行为的限制，“脑在环路”的信息处理系统很难满足机器智能高强度、实时性、自动化的图像识别工作。通过视觉专家的大脑响应，构建“脑在环路”的脑机信息融合模型，“脑不在环路”应用的脑机信息混合智能计算模式，能够在应用时将视觉专家从系统中移除，实现生物智能与机器智能的优势互补。

“脑在环路”建模是指在模型训练阶段有视觉专家大脑响应的参与，利用视觉专家的大脑响应监督机器学习模型的学习，“脑不在环路”应用是指尽管在模型应用推理的过程中没有视觉专家大脑响应的参与，但是模型训练阶段的大脑响应监督过程在一定程度上存储了视觉专家大脑响应的先验信息，能够模拟专家的视觉加工过程，即使在应用时没有大脑响应的参与也能够实现类似于“脑在环路”的监督推理。目前，业内用于“脑在环路”建模，“脑不在环路”应用的技术主要有两种，现有技术一：迁移学习；现有技术二：共享子空间学习。现有技术一：迁移学习，基于迁移学习的方法建立从图像特征到大脑响应空间的预测模型，希望利用大脑响应空间丰富的高级语义特征指导具有中低级语义的图像特征进行分类，在传统的计算机视觉领域中应用广泛，一般利用PCA-CCA、核对齐、高斯过程回归等传统方法建立图像特征到大脑响应特征的预测模型。但是随着深度学习技术的发展，图像分类的性能已经达到人类的水平，与传统的计算机视觉方法相比现有的深度学习技术已经能够获取高级语义信息，仅建立图像特征到大脑响应的预测模型，利用预测的大脑响应进行“脑不在环路”分类的性能远不能达到现有深度学习方法的性能。因此，现有技术一的“脑不在环路”应用方法逐渐式微。现有技术二：共享子空间学习，近年来，随着深度学习技术的发展，基于共享子空间的多模态学习方法也取得了进步，这种方法需要大量的成对数据，通过损失函数约束，使同一数据的多个模态表示在共享子空间中具备最小的距离，以建立一个受其他模态数据监督的共享表征空间，模型应用时可以在模态缺失的情况下完成推理。利用共享子空间的方法可以实现大脑响应对图像特征的监督学习，在模型推理时，可以实现“脑不在环路，大脑响应监督”，但是鉴于大脑响应数据的获取成本和获取难度，很难获取充足的大脑响应数据，现有的公开数据集很难支持此类模型的训练。因此，需要一种能够在少量数据集上就能够实现“脑不在环路”应用的脑机信息融合分类方法。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有技术一中的思路受限于深度学习技术的发展，已经很难直接应用于深度学习领域。

(2)现有技术二受限于大脑响应数据的获取，难以利用有限的大脑响应数据建立有效的共享表征空间模型。