[发明专利]基于离散表征和条件自回归的fMRI视觉重构方法在审
申请号: | 202011006599.1 | 申请日: | 2020-09-23 |
公开(公告)号: | CN112233199A | 公开(公告)日: | 2021-01-15 |
发明(设计)人: | 王林元;乔凯;陈健;梁宁宁;张驰;魏月纳;石舒豪;童莉;闫镔 | 申请(专利权)人: | 中国人民解放军战略支援部队信息工程大学 |
主分类号: | G06T11/00 | 分类号: | G06T11/00;G06N3/04 |
代理公司: | 郑州大通专利商标代理有限公司 41111 | 代理人: | 张立强 |
地址: | 450000 河*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 离散 表征 条件 回归 fmri 视觉 方法 | ||
本发明提供一种基于离散表征和条件自回归的fMRI视觉重构方法。该方法包括:步骤1:构建图像离散表征模型和图像重构模型;步骤2:构建fMRI视觉重构数据集,所述数据集包含训练集和测试集,训练集包含第一套图像和被试看到第一套图像刺激后的第一套fMRI脑信号;所述测试集包含第二套图像和被试看到第二套图像刺激后的第二套fMRI脑信号;步骤3:根据训练集和图像离散表征模型,构建fMRI脑信号到图像离散表征的条件自回归模型;步骤4:根据条件自回归模型和图像重构模型,得到第二套fMRI脑信号的视觉重构结果。本发明主要面向复杂自然图像的重构。
技术领域
本发明涉及视觉重构技术领域,尤其涉及一种基于离散表征和条件自回归的fMRI视觉重构方法。
背景技术
基于fMRI的视觉重构是基于fMRI的视觉信息解码的关键技术,旨在根据大脑皮层神经信息来重构出图像刺激,是大脑视觉解码中最困难的问题。引起视觉重构困难的原因主要包括噪声、高维、信息缺失。在fMRI数据采集过程中,机器、被试等各类噪声不可避免被引入;大脑皮层体素数量较大;由于大脑视觉信息处理过程中存在不变性造成体素中包含的视觉信息缺失,导致大脑信号到视觉刺激图像的一对多的问题。这些问题一直影响着视觉重构的质量。
现有的fMRI视觉重构方法可以大致分为基于贝叶斯理论的方式、基于刺激图像像素建模的方式、基于可逆特征表达的方式和基于生成对抗网络的方式这四种。
(1)基于贝叶斯理论的视觉重构
在贝叶斯框架下,可以通过最大化后验概率P(S|R)实现图像重构,其中S代表待重构图像,R代表体素,然而P(S|R)较难得到。在贝叶斯公式P(S|R)=P(R|S)P(S)/P(R)中,条件概率P(R|S)代表已知图像S下体素响应R的可能性,反映了编码模型概率分布,P(S)表示图像的先验概率分布。因此,最大化后验概率P(S|R)可以转化成最大化编码概率和先验分布概率的乘积,即从贝叶斯理论出发解决重构问题。
2006年,Thirion等人根据贝叶斯理论实现了多米诺骨牌简单图像的重构。2009年,Naselaris等人对自然图像视觉刺激进行重构,考虑到自然图像包含了丰富的统计结构和语义内容,因此,根据基于预先构造的结构性编码模型和语义编码模型,通过贝叶斯准则和自然图像先验信息实现了自然图像视觉刺激的重构。2011年,Nishimoto等人(Nishimoto,S.,et al.,Reconstructing visual experiences from brain activityevoked by natural movies.Current Biology,2011.21(19):p.1641-1646.)采集被试观看视频序列时的fMRI信号,通过联合Gabor小波特征和运动能量特征实现了更好的编码模型。依靠编码模型,分别依据最大后验概率准则(maximum a posteriori,MAP)的方法实现了视觉刺激图像的重构。
(2)基于刺激图像像素建模的视觉重构
基于刺激图像像素建模的视觉重构,一般是直接构建从所有大脑体素到图像像素的映射关系,通过优化求解的方法确定每个大脑体素到像素映射的权重系数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军战略支援部队信息工程大学,未经中国人民解放军战略支援部队信息工程大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011006599.1/2.html,转载请声明来源钻瓜专利网。