[发明专利]基于迁移学习的fMRI视觉编码模型构建方法

说明书

本发明属于视觉信息处理技术领域，特别涉及一种基于迁移学习的fMRI视觉编码模型构建方法，包含：获取视觉刺激图像数据及其对应的fMRI数据集，将刺激图像数据作为编码模型的输入，视觉区fMRI响应作为模型的输出；通过深度卷积神经网络模型提取刺激图像数据的CNN特征，并针对每个视觉区构造视觉响应编码模型；通过构造动态损失函数训练视觉编码模型中的全连接层响应模型，依据视觉响应模式为大脑视觉区每个体素选取最佳视觉编码模型。本发明利用在大数据集上训练得到的深度神经网络模型提取fMRI视觉实验刺激的特征，并将提取的特征通过有效合理的非线性映射得到对于不同体素的响应，构建精度较高的视觉编码模型，提高了对大脑视觉区体素响应的预测准确性。

技术领域

本发明属于视觉信息处理技术领域，特别涉及一种基于迁移学习的fMRI视觉编码模型构建方法。

背景技术

人的大脑是神经系统最高级的部分，其中大脑皮层最为发达，是思维的器官，是高级神经活动的物质基础。在大脑接收到的众多外界信息中，视觉信息是感知和认识世界的主要途径之一。而大脑在对视觉信息的处理方面具有高效性、鲁棒性。基于fMRI的视觉编码研究主要是以人脑视觉信息处理机制为理论基础，建立一个可计算的编码模型来模拟通过fMRI实际测得的大脑活动，实现对大脑功能活动的预测，进一步解析人脑视觉处理机制，实现“仿脑”。深度神经网络是基于网络结构和视觉系统的一些早期发现发展起来。神经科学研究表明，深度神经网络与人类视觉系统处理视觉信息的方式相似，在处理输入图像的时候，通过实现低层信号到高层特征的函数映射，建立学习数据内部隐含关系的层次模型。如何利用在大数据集上训练得到的深度神经网络模型提取fMRI视觉实验刺激的特征，并将提取的特征通过有效合理的非线性映射得到对于不同体素的响应，构建精度较高的视觉编码模型，对于模拟人类大脑视觉通路，探索视觉机制都具有重要的意义。

发明内容

为此，本发明提供一种基于迁移学习的fMRI视觉编码模型构建方法，构造特征空间与响应空间之间的非线性映射关系，提高视觉编码模型的预测准确性。

按照本发明所提供的设计方案，一种基于迁移学习的fMRI视觉编码模型构建方法，包含如下内容：

获取视觉刺激图像数据及其对应的fMRI数据集，将刺激图像数据作为编码模型的输入，视觉区fMRI响应作为模型的输出；

通过深度卷积神经网络模型提取刺激图像数据的CNN特征，并针对每个视觉区构造视觉响应编码模型；

针对训练数据集，通过构造动态损失函数训练视觉编码模型中的全连接层响应模型(全连接层)，依据视觉响应模式为大脑视觉区每个体素选取最佳视觉编码模型。

上述的，CNN特征提取中，首先建立AlexNet网络模型，并固定其模型参数，提取刺激图像数据不同层的CNN特征，并在其后加入两层全连接层构造视觉编码模型。

上述的，通过构造动态损失函数训练视觉编码模型中的全连接层响应模型，包含如下内容：针对训练数据集，在特征空间和响应空间建立非线性映射响应模型，通过构造一种动态的损失函数来实现对体素的选择，从而更好的训练视觉编码模型中的响应模型。

优选的，动态损失函数表达式为：

Loss＝-r₁*R+r₂*L₂(W)

其中，R表示预测体素响应与真实体素响应之间相关性，W代表网络层参数，L₂(W)表示采用L₂正则化函数，r₂是正则化项系数，这里的R₀为验证集的预测体素响应与真实体素响应之间相关性，l为预先获取的置换校验显著性阈值。