[发明专利]一种基于多模态数据的脑认知功能康复状态分析方法

说明书

本发明属于功能性近红外光谱和脑电图像处理技术领域，具体是一种基于多模态数据的脑认知功能康复状态分析方法，采集患者的静息态的fMRI数据以及评估任务测试过程中的fNIRS和脑电图EEG数据，然后将fMRI数据输入fMRI‑FC‑CNN网络得到分类为正常的概率，将fNIRS和EEG数据进行数据预处理后输入基于多模态特征融合分类网络获得分类为正常的概率，绘制成概率‑就诊次数折线图，并使用曼－肯德尔检验进行折线图的趋势分析。本发明采用两种模态的数据互补，为网络模型提供不同的信息源使得学习到的特征更加完备，同时采用了Inception模块和残差结构对LSTM模型进行改进，提升了网络的表征能力。

技术领域

本发明属于功能性近红外光谱和脑电图像处理技术领域，具体是一种基于多模态数据的脑认知功能康复状态分析方法。

背景技术

脑是人体最复杂、最高效的信息处理系统，探索人类智力的产生和人脑信息处理的过程是脑认知研究的核心内容。脑认知在不同层次上研究感知觉的基本表达和信息加工机制，认识大脑如何形成对外部世界的感知，以及如何实现学习、记忆、语言、思维、情绪、意识等高级认知功能。

人类正常的工作学习生活离不开完善的脑认知功能，而部分人因遗传或后天的外界刺激及对大脑的损伤，患有认知功能障碍。常见的脑认知障碍相关疾病通常有：精神分裂症、抑郁症、阿尔兹海默症、儿童注意力障碍等。国内外针对这些疾病，已经或者正在开展一系列研究，并取得了一些初步研究成果。目前临床最常用的分析手段就是基于高分辨率的功能性核磁共振数据fMRI的分析，但功能性核磁共振数据fMRI存在采集麻烦、费用较高、一些患者由于身体条件不具备采集条件等缺点，需要其他采集较为方便的生理数据如功能性近红外光谱fNIRS和脑电图EEG等进行替代，但现有文献中，通常为单模态数据特征提取之后的简单分析，对人体的生理特征提取不够全面，例如，文献^【1】为通过计算功能性近红外光谱fNIRS信号的斜率和均值作为特征送入到线性判别分析(LDA)模型进行分类，文献^【2】也是将功能性近红外光谱fNIRS送入级联随机森林中进行分类，文献^【3】将脑电图EEG信号进行快速傅里叶变换处理，然后将频谱图送入PCANet中进行分类。

因此，需要一种能够改进上述问题的方法。

发明内容

本发明要解决的技术问题是提供一种基于多模态数据的脑认知功能康复状态分析方法，通过构造基于功能性近红外光谱fNIRS和脑电图EEG的多模态数据融合的分类模型，并结合曼－肯德尔(Mann-Kendall)趋势分析方法，用以脑认知功能康复效果的智能评估。

为了解决上述技术问题，本发明提供一种基于多模态数据的脑认知功能康复状态分析方法，包括以下步骤：

采集患者的静息态的功能核磁共振成像fMRI数据以及评估任务测试过程中的功能性近红外光谱fNIRS和脑电图EEG数据，然后将功能核磁共振成像fMRI输入fMRI-FC-CNN网络得到分类为正常的概率其中n为患者序号，k为就诊次数，将功能性近红外光谱fNIRS和脑电图EEG数据进行数据预处理后输入基于多模态特征融合分类网络获得分类为正常的概率将绘制为概率-就诊次数折线图，并使用曼－肯德尔检验进行折线图的趋势分析。

作为本发明的一种基于多模态数据的脑认知功能康复状态分析方法的改进：

所述基于多模态特征融合分类网络包括三个连续的卷积+批归一化模块，然后分为LSTM分支和Inception分支，将LSTM分支和Inception分支输出进行拼接后再经过两个全连接层；

所述LSTM分支包括2个连续的LSTM模块；

所述Inception分支包括6个连续Inception模块并以3个Inception模块为一组，每组均采用残差结构。

作为本发明的一种基于多模态数据的脑认知功能康复状态分析方法的进一步改进：