[发明专利]基于Gabornet的大脑低级视觉区信号处理方法及系统

说明书

本发明属于功能磁共振信号处理技术领域，特别涉及一种基于Gabornet的大脑低级视觉区信号处理方法及系统，包含：构建视觉编码模型，包含：用于通过卷积操作将视觉刺激图像空间到图像特征空间映射的图像表征模块，和用于通过全连接将图像特征空间到视觉感兴趣区域体素空间映射的体素回归模块；卷积操作由Gabor卷积层和普通卷积层完成，Gabor卷积层通过将图像投影到Gabor滤波上并进行卷积运算来获得图像在Gabor滤波器投影；利用样本数据对视觉编码模型进行训练优化；利用视觉编码模型对目标大脑低级视觉区信号进行预测，分析外部视觉刺激时目标大脑低级视觉区信号变化过程。本发明针对低级视觉区构建相应视觉编码模型，通过改善编码效果来提升对低视觉区大脑信号的预测效果。

技术领域

本发明属于功能磁共振信号处理技术领域，特别涉及一种基于Gabornet的大脑低级视觉区信号处理方法及系统。

背景技术

近年来，神经影像技术取得了一系列进展，陆续出现了脑电(Electroencephalography,EEG)、脑磁(Magnetoencephalography,MEG)、功能性近红外光谱(functional Near-Infrared Spectroscopy,fNIRS)、功能磁共振成像(functionalMagnetic Resonance Imaging，fMRI)等一系列的非侵入式成像方法。在这些方法中，功能磁共振成像技术因其同时具备较高的空间分辨率和时间分辨率，被誉为“人脑思维阅读器”，已然成为了在宏观角度研究大脑视觉信息处理机制的最主要神经影像手段。

计算机视觉编码模型是以大脑的视觉感知机制为基础，通过建立一个大脑视觉信息处理的可计算编码模型来表述大脑对外界刺激的响应，以实现对大脑活动的预测，描述人类在感知和分析外部视觉刺激时自身脑信号的变化过程。基于fMRI的视觉信息编码技术旨在通过模拟大脑视觉系统信息处理方式分析大脑对于不同的外部视觉刺激所产生的响应，因此，研究视觉信息编码模型是认识大脑视觉信息加工机制需要面临一个最基本的问题。按照特征表达方式不同，可以把视觉编码方法大致分为基于手工设计特征的方式和基于深度网络特征的方式。在2014年前，深度网络方法尚未应用到视觉编解码领域时，主要依靠基于视觉机制手工设计特征的方式来实现视觉信息的编码。基于手工设计特征的视觉编码模型方面，Gabor小波特征和语义类别特征应用较为广泛、关注度较高，其中Gabor小波特征是一种基于体素感受野机制的结构化特征，主要适应于初级视觉区的体素编码。由于深度网络特征表达的丰富性和层次性在视觉区的编码效果上取得了较好的效果，掀起了深度学习在该领域的大量应用。但是，基于深度网络特征的视觉编码模型存在以下问题：(1)生物可解释不强；(2)在低中高级视觉区编码效果不佳。由此，现有编码模型在大脑低级视觉区信号处理领域中的应用存在限制。

发明内容

为此，本发明提供一种基于Gabornet的大脑低级视觉区信号处理方法及系统，融合手工设计特征和深度网络特征来构建针对低级视觉区的视觉编码模型，以提升低视觉区大脑信号识别效果。

按照本发明所提供的设计方案，一种基于Gabornet的大脑低级视觉区信号处理方法，包含如下内容：

构建视觉编码模型，该模型包含：用于通过卷积操作将视觉刺激图像空间到图像特征空间映射的图像表征模块，和用于通过全连接将图像特征空间到视觉感兴趣区域体素空间映射的体素回归模块；其中，图像表征模块的卷积操作由Gabor卷积层和普通卷积层完成，Gabor卷积层通过将图像投影到Gabor滤波上并进行卷积运算来获得图像在Gabor滤波器投影；

利用样本数据对视觉编码模型进行训练优化；

利用优化后的视觉编码模型对目标大脑低级视觉区信号进行识别，以分析外部视觉刺激时目标大脑低级视觉区信号变化过程。

作为本发明基于Gabornet的大脑低级视觉区信号处理方法，进一步的，视觉编码模型采用端到端的CNN卷积神经网络模型结构。