[发明专利]多脑协同脑机接口系统及基于该系统实现的视频目标检测方法

说明书

本发明属于脑机接口技术领域，特别涉及一种多脑协同脑机接口系统及基于该系统实现的视频目标检测方法，该系统包含：刺激呈现模块、同步采集模块、数据预处理模块和分类模型模块。所述刺激呈现模块用于将视频刺激同步呈现给多个被试，所述同步采集模块用于同步采集多个被试的脑电信号，所述数据预处理模块用于对采集的脑电信号进行预处理，所述分类模型模块用于采用基于互学习式跨域网络处理并识别采集到的脑电信号。本发明基于互学习式跨域网络将协同决策生成的伪标签反馈给互学习式跨域网络中的个体网络，从而建立个体网络之间的信息交互和动态学习机制，实现更高效、更稳健的群体检测性能，能够将所谓差数据的个体网络训练达到专家级检测水平。

技术领域

本发明属于脑机接口技术领域，特别涉及一种多脑协同脑机接口系统及基于该系统实现的视频目标检测方法。

背景技术

脑-机接口(Brain-computerinterface，BCI)技术搭起了人机交互的桥梁，为大脑控制和监控外部环境提供了新的技术途径。先进的脑机接口技术不仅能够改善躯体障碍患者的运动能力，还可以增强健康人的身体能力。利用多脑协同脑机接口(CollaborativeBrain-Computer Interfaces,cBCI)技术进行性能增强成为人类增强研究的热点。多脑信号相当于多个信息处理系统，具有更高的群体决策性能和更强的鲁棒性。同时，多脑协作工作也更加符合未来人机交互社会化的发展趋势。对于视觉目标检测脑机接口系统而言，背景复杂性和场景动态性带来了单脑BCI系统检测的性能局限。因此，搭建视频目标检测多脑协同脑机接口系统，发挥多脑增强的性能优势，成为提高视频目标检测性能的研究重点。

多脑协同脑机接口系统被视为当前最有前景的人类增强应用之一。目前，cBCI系统主要是通过集成多脑信息提高系统的控制和决策的能力，其信息集成主要包括三个层级：信号级融合、特征级融合和决策级融合。信号级融合是提高脑电信号信噪比的最快速简单的方法。它是对多人脑电信号的平均响应进行分类。特征级融合是对多人脑电的平均特征进行分类。信号级融合和特征级融合都属于单分类器协同脑机接口(single classifiercBCI，SC-cBCI)系统。决策级融合是将多用户的决策结果进行融合，生成最终的决策，也称为多分类器协同脑机接口(multi-classifier cBCI,MC-cBCI)系统。具体的决策级融合策略包括平均决策、加权决策和投票表决等。尽管现有的多脑协同目标检测已经研究取得了显著的成果，但还是存在两点问题值得关注。第一，目前的协同脑机接口研究强调多脑的信息融合，其计算模型是静态单向非动态交互，偏离了真正的多脑协同过程。鉴于实验过程的个体交流导致更高的错误率，可以考虑从数据层建立数据层的个体信息交互。其次，为了获得个体计算模型，以往的研究要求增加准备时间采集用户的标注数据。为此，亟需一种具有信息交互、动态学习和个体迁移能力的多脑协同脑机接口方案，来提高群体检测性能。

发明内容

为此，本发明提供一种多脑协同脑机接口系统及利用该系统实现的视频目标检测方法，针对真实场景下的动态视觉目标检测需求，通过引入互学习策略，将协同决策生成的伪标签反馈给互学习式跨域网络中的个体网络，从而建立个体网络之间的信息交互和动态学习机制，实现多脑协同及更高效、更稳健的群体检测性能，能够广泛适用于无人机视频车辆检测等领域。

按照本发明所提供的设计方案，提供一种多脑协同脑机接口系统，用于视频目标检测，包含：刺激呈现模块、同步采集模块、数据预处理模块和分类模型模块，所述刺激呈现模块用于将视频刺激同步呈现给多个被试，所述同步采集模块用于同步采集多个被试的脑电信号，所述数据预处理模块用于对采集的脑电信号进行预处理，所述分类模型模块用于采用基于互学习式跨域网络处理并识别采集到的脑电信号，其中，所述互学习式跨域网络包含：以单源域适应网络来检测单试次脑电P300检测的个体通用网络模型，个体通用网络模型作为个体网络计算单元，相互之间利用互学习策略来更新系统分类损失。

进一步，本发明还提供一种视频目标检测方法，基于上述系统实现，该实现过程具体包含如下内容：