[发明专利]一种基于深度编解码对偶模型的复杂视觉图像重构方法

说明书

本发明公开了一种基于深度编解码对偶模型的复杂视觉图像重构方法，属于生物医学图像脑解码中的视觉场景重构技术领域。本发明首先采集观看大量自然图像下的功能磁共振信号。然后分别建立四个网络模型：1、编码模型，即使用卷积神经网络将自然图像编码成视觉区的体素信号；2、解码模型，即是用卷积神经网络以及反卷积神经网络将视觉区体素信号解码成自然图像；3、判别自然图像模型，即判断真图像与假图像；4、判别视觉区响应模型，即判断真信号与假信号。通过训练设计好的四个模型，可实现从脑信号中还原出视觉场景图像。本发明首次解决了自然场景与脑信号之间直接相互转换的问题，可以实现脑机接口场景的实际应用。

技术领域

本方法属于生物医学图像脑解码中的视觉场景重构技术领域，具体涉及功能磁共振图像的自然图像重构模型的框架搭建。

背景技术

2008年，Miyawaki等人让被试观看很多闪烁的棋盘格刺激图片，并记录这些刺激在早期视皮层(V1/V2/V3)的BOLD信号响应，使用多体素模式分析(Multi-voxel patternclassification,MVPA)方法，建立了多尺度稀疏多项式逻辑回归(SMLR)局部解码器模型，第一次实现了不受限于候选视觉刺激类别的脑信号视觉图像重建，重构出了简单的几何图像和字母刺激，这项研究提供了一种全新的解读大脑视觉感知状态的思路。但是，Miyawaki等人的方法只能重构出简单图像，且重构出的图像准确率较低，噪声比较大，重构时间比较长。Zhan和Song等人在Miyawaki的研究基础上，提出了基于支持向量机和贝叶斯分类器的重构方法，并采用独立成份分析方法提高特征提取的效率，在一定程度上提高了重构效率。2009年，Naselaris等人利用自然图像的结构信息和语义信息等，用早期视皮层和视前区的fMRI信号响应，构建了一个基于贝叶斯的重构模型，尝试了自然图像的脑信息重构。2011年，Nishimoto等人记录分析了受试者观看自然视频图像时枕颞叶的BOLD信号响应模式，发现早期视皮层动态脑活动响应模式可以用来编码动态视频信息类型，估计了视频图像的时空运动-能量编码模型并在此基础上构建了一种基于贝叶斯的解码模型，重构出了受试者所感知到的视频图像的主要信息。Cowen等人利用主成分分析方法将人类面孔刺激转换到“特征脸”空间，然后建立新的特征与fMRI信号之间的关系，第一次实现了对人类面孔刺激的重构。然而，已有的重构方法和技术普遍存在准确率较低和噪声较大的问题，特别是在统计结构较为复杂的自然图像的重构问题上还存在很大缺陷。发展高效的脑信号解码模式识别方法，充分利用视觉认知过程中脑响应的动态过程，更准确地模拟视觉刺激和脑响应间的映射关系，是提高视觉图像重构质量的关键。

发明内容

本发明针对背景技术的不足之处，解决重构出的图像准确率较低，噪声比较大，重构时间比较长的问题，在前人研究基础上改进设计出一种基于深度编解码对偶模型的复杂视觉图像重构方法。

本发明在前人研究基础上结合深度学习方法，建立了基于深度编解码对偶模型的脑信息解码模型，对复杂自然图像进行了视觉重构，从而实现发明目的。因而本发明技术方案为一种基于深度编解码对偶模型的复杂视觉图像重构方法，该方法为采用训练数据对编码器G₁；解码器G₂；判别图像器D₁；判别视觉区响应器D₂进行训练；

1.所述编码器G₁的作用为将刺激图像转换为视觉区响应信号，编码器G₁的编码方法为：

步骤1.1：对刺激图像进行补零操作；对补领后的数据一次进行三次运算，每次运算包含卷积、批量标准化、修正线性单元非线性函数三种操作；

步骤1.2：将步骤1.1得到的数据进行9次残差操作，每次残差操作不改变数据的大小和厚度；

步骤1.3：将步骤1.2得到的数据依次进行5次运算，每次运算包含卷积、批量标准化、修正线性单元非线性函数三种操作；然后进行reshape操作调整数据的维度，最后使用全链接网络得到与视觉区域信号维度相同的数据；