[发明专利]一种基于多模态数据的脑认知功能康复状态分析方法

摘要

本发明属于功能性近红外光谱和脑电图像处理技术领域，具体是一种基于多模态数据的脑认知功能康复状态分析方法，采集患者的静息态的fMRI数据以及评估任务测试过程中的fNIRS和脑电图EEG数据，然后将fMRI数据输入fMRI‑FC‑CNN网络得到分类为正常的概率，将fNIRS和EEG数据进行数据预处理后输入基于多模态特征融合分类网络获得分类为正常的概率，绘制成概率‑就诊次数折线图，并使用曼－肯德尔检验进行折线图的趋势分析。本发明采用两种模态的数据互补，为网络模型提供不同的信息源使得学习到的特征更加完备，同时采用了Inception模块和残差结构对LSTM模型进行改进，提升了网络的表征能力。