[发明专利]一种脑不在环路应用的脑机信息融合分类方法及系统

权利要求书

1.一种脑不在环路应用的脑机信息融合分类方法，其特征在于，所述脑不在环路应用的脑机信息融合分类方法，包括：

步骤一，在训练数据集上，利用数据加载装置加载成对的大脑响应和刺激图像数据，送入预处理装置，分别对大脑响应进行预处理，对刺激图像提取图像特征，构成大脑响应和图像特征集；

步骤二，在配对的特征集上训练图像特征到大脑响应的预测模型，并在大脑响应和图像特征集上分别训练特征可靠性预测模型；

步骤三，利用大脑响应和刺激图像的特征可靠性构建加权级联融合特征集，并在融合特征集上训练线性SVM分类模型；

步骤四，在测试数据集上，利用数据加载装置仅加载刺激图像数据，并送进预处理装置提取图像特征；

步骤五，将提取到的图像特征输入大脑响应生成装置，加载模型参数，前行推理，重建刺激图像对应的大脑响应；

步骤六，将重建生成的大脑响应和图像特征分别输入特征可靠性预测装置，加载模型参数，前行推理，分别输出大脑响应和图像特征的可靠性值；

步骤七，将重建的大脑响应、提取到的图像特征、以及步骤六获取的特征可靠性值送入脑机信息融合分类装置，根据特征可靠性值加权级联大脑响应和图像特征，获取融合特征，加载线性SVM分类模型参数，输出融合特征所属的类别以及每个类别的分类概率。

2.如权利要求1所述脑不在环路应用的脑机信息融合分类方法，其特征在于，所述数据加载装置同时加载成对的大脑响应和刺激图像数据，分别送进大脑响应和刺激图像的预处理装置，分别提取大脑响应预处理特征和图像特征，构建成对的大脑响应和刺激图像特征集；

其中数据加载装置继承自PyTorch深度学习框架中的DataSet类和DataLoader类，在训练阶段依次从成对的大脑响应和刺激图像数据集中读取出成对的训练数据，分别进行后续处理；

预处理装置分为两部分，分别对大脑响应进行预处理以及利用ResNet34预训练模型提取刺激图像特征，构建大脑响应和图像特征集。

3.如权利要求2所述脑不在环路应用的脑机信息融合分类方法，其特征在于，所述大脑响应进行预处理过程为：

从原始的大脑响应数据中，沿刺激呈现维度，获取同一刺激图像多次呈现采集的大脑响应，将属于同一刺激图像的大脑响应求均值；

选择放置在腹侧视觉通路下颞叶区域电极的大脑响应数据，并提取出相应大脑响应；

针对提取到的大脑响应数据，对70-170ms的大脑响应数据沿时间维度求均值，获取每一个电极点的空间响应数据；

对获取到的大脑响应数据做标准化处理，并翻转获取预处理后1*168维的大脑响应数据，构建大脑响应特征集。

4.如权利要求2所述脑不在环路应用的脑机信息融合分类方法，其特征在于，所述刺激图像预处理装置的特征提取和预处理过程为：

利用PyTorch深度学习框架构建ResNet34模型，去除其最后一层全连接层，并加载torchvison模型库中的ImageNet预训练模型参数，将并设置模型参数“pretrained＝True”；

利用数据加载装置加载刺激图像，输入ResNet34模型进行前向推理，获取卷积层的输出特征为512维，构建图像特征集；

为消除维度差异，将获取的图像特征集利用主成分分析降维到128维，构建图像特征集。