[发明专利]基于Gabornet的大脑低级视觉区信号处理方法及系统

权利要求书

1.一种基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，包含如下内容：

构建视觉编码模型，该视觉编码模型由输入层、一层Gabor卷积层、两层普通的卷积层和一个全连接层组成，该视觉编码模型包含：用于通过卷积操作将视觉刺激图像空间到图像特征空间映射的图像表征模块，和用于通过全连接将图像特征空间到视觉感兴趣区域体素空间映射的体素回归模块；其中，图像表征模块的卷积操作由Gabor卷积层和普通卷积层完成，Gabor卷积层包括两个通路，分为实Gabor小波通路和虚Gabor小波通路，每个通路卷积核个数为64个，卷积核的大小为9×9，输入图像经过两个通路后各生成64张特征图，将两个通路生成的共计128张特征图拼接，Gabor卷积层通过将图像投影到Gabor滤波上并进行卷积运算来获得图像在Gabor滤波器投影，Gabor卷积层中Gabor小波卷积核各个参数（ω，σ，φ，θ）通过反向传播算法学习得到，σ为高斯函数内的标准差，用于控制Gabor小波的尺度变化，θ为用于显示滤波器的不同方向参数，Gabor小波基于θ从不同角度提取特征，ω代表正弦曲线内的空间频率，用于控制Gabor小波的波长和条形宽度的大小；

利用样本数据对视觉编码模型进行训练优化；

利用优化后的视觉编码模型对目标大脑低级视觉区信号进行识别，以分析外部视觉刺激时目标大脑低级视觉区信号变化过程。

2.根据权利要求1所述的基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，视觉编码模型采用端到端的CNN卷积神经网络模型结构。

3.根据权利要求1或2所述的基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，卷积操作中，设置卷积核大小、卷积步幅及卷积通道数，对模型输入数据进行下采样，每层卷积操作后使用ReLU作为激活函数；通过体素回归模块来输出与视觉区体素个数相同的维度。

4.根据权利要求1所述的基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，视觉编码模型采用ROI-wise编码方式，一次完成一个ROI中所有体素响应预测；通过样本数据中图片刺激和对应整个ROI的fMRI脑信号对模型进行端到端训练，联合优化模型参数。

5.根据权利要求1所述的基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，体素回归模块中采用自适应回归的动态权值进行全连接；并采用体素选择优化策略来选择有效体素，其中，自适应回归的动态权值是指通过对原始权值进行平方，将固定学习率变为可动态调整来实现；体素选择优化策略中，在模型预测的体素响应空间中加入高斯噪声；通过计算体素的预测响应空间和真实响应空间的Pearson相关系数来获取模型对体素的编码准确率；依据编码准确率在损失函数中对各个体素设置权重，并在损失函数中设置保真项和比例参数来对模型进行优化。

6.一种基于Gabornet的大脑低级视觉区信号处理系统，其特征在于，基于权利要求1所述的方法实现，包含：模型构建模块，模型学习模块和信号处理模块，其中，

模型构建模块，用于构建视觉编码模型，该模型包含：用于通过卷积操作将视觉刺激图像空间到图像特征空间映射的图像表征模块，和用于通过全连接将图像特征空间到视觉感兴趣区域体素空间映射的体素回归模块；其中，图像表征模块的卷积操作由Gabor卷积层和普通卷积层完成，Gabor卷积层通过将图像投影到Gabor滤波上并进行卷积运算来获得图像在Gabor滤波器投影；

模型学习模块，用于利用样本数据对视觉编码模型进行训练优化；

信号处理模块，用于利用优化后的视觉编码模型对目标大脑低级视觉区信号进行识别，以分析外部视觉刺激时目标大脑低级视觉区信号变化过程。

7.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时执行权利要求1~5任一项所述的方法。

8.一种计算机设备，包含处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以执行权利要求1~5任一项所述的方法。