[发明专利]一种基于双脑的多层次信息融合的目标检测方法

说明书

本发明公开了一种基于双脑的多层次信息融合的目标检测方法。该方法包括数据获取、数据处理、模型训练与分类四个步骤。提出一种双被试、同任务的RSVP范式，使用双人的EEG信号来进行P300检测，并针对该范式提出了一种基于多层次信息融合的HyperscanNet神经网络模型来进行目标检测，在数据处理阶段通过超扫描特征模块与原始特征模块，分别进行特征层融合与数据层融合，然后对超扫描特征模块进行处理后，将其提取的深层次特征与原始特征模块提取的浅层次特征一起输入到支持向量机中，实现HyperscanNet神经网络模型的训练，最后进行脑电数据的分类、检测。该方法实现了范式和检测方法的创新。

技术领域

本发明属于脑机协同目标检测领域，涉及一种基于双脑的多层次信息融合的目标检测方法。

背景技术

从首次发现脑电信号至1973年Jacques Vidal所负责的加州大学洛杉矶分校的项目中首次给出了脑机接口(BCI)系统的定义，基于EEG来分析大脑意图的BCI使得大脑能够直接与外界环境进行交互。基于RSVP范式的图像检索应用广泛，其主要是通过的对ERP的检测来完成图像检索。ERP是EEG中的一个诱发电位，包含P300、N170、N200等成分，其可以通过听觉或者视觉等刺激来进行诱发。要想从许多有着信噪比较低的EEG中检测到ERP存在是一个较为困难的问题。EEG的背景噪声存在着低稳定性、非线性等特征，而所产生的ERP波形与实验范式也具备一定的关联，甚至改变具体实验范式的一些参数都会影响ERP的振幅和潜伏期。值得注意的是，在经典的RSVP范式中ERP是基于single-trial的，相比于基于multi-trial检测ERP存在较大的难度。

为了改善RSVP中目标检测的准确率，主要有两方面的研究。

一方面是研究更好的方法提高single-trial的ERP检测的准确率。在2006年，Solis-Escalante等提出了基于经验模态分解的single-trial检测方法，从P300的训练集中分解平均事件响应，能够达到约0.55的AUC。在2008年，Krusienski等使用stepwiselinear discriminant analysis(SWLDA)来对P300进行判别，对字符的识别率达到了约35％。在2009年，Bertrand Rivet等提出了一种通过构造一个空间滤波器来提高EEG数据信噪比的xDAWN算法，对拼写器字符的分类取得了80％的分类准确率。在2011年，LucieDaubigney等使用卡尔曼滤波器(Kalman filtering)对EEG数据滤波后放入支持向量机(SVM)进行分类，对P300预测的精确率超过50％。到了2018年，Lawhern等提出了一个紧凑的卷积神经网络模型架构EEGNet，对single-trial P300进行分类最终在1500个样本上进行训练得到了超过0.9的AUC值。除此之外，也有许多研究者提出了如bayesian LinearDiscriminant Analysis(BLDA)、遗传算法(GA)、循环神经网络(RNN)等方法来进行single-trial分类。

另一个方面是通过改进实验范式使得同一个目标多次出现，从而实现使用multi-trial的ERP进行目标检测。2015年Cecotti等提出了dual-RSVP范式，该范式在脑磁图(MEG)数据上取得了良好的效果。2016年Zhimin Lin等对dual-RSVP范式在EEG数据上进行检验，确认了该范式在EEG数据上同样具备可行性。进一步，Zhimin Lin尝试了使用triple-RSVP来进行实验，相比于dual-RSVP取得了更好的效果。几乎多数的实验范式都是基于单个被试进行实验的，也有部分实验两个被试来完成不同的任务，进行对抗。

发明内容

针对现有技术的不足，本发明提出了一种基于双脑的多层次信息融合的目标检测方法，提出一种双被试、同任务的RSVP范式，使用双人的EEG信号来进行P300检测，并针对该范式提出了一种基于多层次信息融合的神经网络来进行目标检测，实现了范式和检测方法的创新。

一种基于双脑的多层次信息融合的目标检测方法，具体包括以下步骤：