[发明专利]一种基于深度编解码对偶模型的复杂视觉图像重构方法

权利要求书

1.一种基于深度编解码对偶模型的复杂视觉图像重构方法，该方法为采用训练数据对编码器G₁；解码器G₂；判别图像器D₁；判别视觉区响应器D₂进行训练；

P1.所述编码器G₁的作用为将刺激图像转换为视觉区响应信号，编码器G₁的编码方法为：

步骤1.1：对刺激图像进行补零操作；对补零后的数据一次进行三次运算，每次运算包含卷积、批量标准化、修正线性单元非线性函数三种操作；

步骤1.2：将步骤1.1得到的数据进行9次残差操作，每次残差操作不改变数据的大小和厚度；

步骤1.3：将步骤1.2得到的数据依次进行5次运算，每次运算包含卷积、批量标准化、修正线性单元非线性函数三种操作；然后进行reshape操作调整数据的维度，最后使用全链接网络得到与视觉区域信号维度相同的数据；

P2.所述解码器G₂的作用为将视觉区响应信号转换为刺激图像，解码器G₂的解码方法为：

步骤2.1：对视觉区信号数据进行全连接操作，然后进行reshape操作，修改数据维度，再进行五次运算，每次运算包含卷积、批量标准化、修正线性单元非线性函数三种操作；步骤2.2：将步骤2.1得到的数据进行9次残差操作；每次残差操作不改变数据的大小和厚度；

步骤2.3：将步骤2.2得到的数据进行2次运算，每一次运算包含反卷积、批量标准化、修正线性单元非线性函数三种操作；然后进行补零操作；最后依次进行一次卷积、批量标准化、修正线性单元非线性函数三种操作，得到数据认定为刺激图像；

P3.所述判别图像器D₁的判别方法为：

对样本图像依次进行五次运算，每次运算包含卷积、批量标准化、弱修正线性单元非线性函数三种操作；

P4.所述判别视觉区响应器D₂的判别方法为：

对视觉区响应信号进行全连接，然后对该数据进行reshape操作改变数据维度，然后依次进行五次运算，每次运算包含卷积、批量标准化、弱修正线性单元非线性函数三种操作；五次运算中卷积操作的卷积核大小都为3*3；卷积步长分别为2、1、1、1、1；卷积核深度分别为64、128、256、512、1；

P5.该训练方法为：

步骤5.1：获取训练数据，训练数据包括刺激图像和每张刺激图像诱发下的多个时间节点的视觉区响应信号；

步骤5.2：定义3个损失函数，分别为生成总损失L₁、判别图像损失L₂、判别视觉区响应损失L₃，如下：

L₁＝y*log[G₁(x)]+(1-y)*log[1-G₁(x)]+x*log[G₂(y)]+(1-x)*log[1-G₂(y)]+‖G₂(G₁(x))-x‖₁+‖G₁(G₂(y))-y‖₁+‖D₁(G₂(y))-1‖₂+‖D₂(G₁(x))-1‖₂；

L₂＝‖D₁(G₂(y))‖₂+‖D₁(x)-1‖₂；

L₃＝‖D₂(G₁(x))‖₂+‖D₂(y)-1‖₂；

其中，x表示刺激图像；y表示视觉区响应信号，G₁(x)、G₂(y)、D₁(G₂(y))、D₂(G₁(x))，分别表示对括号中数据进行相应的处理；

步骤5.3：对L₁、L₂、L₃三个损失函数，依次使用Adam优化算法进行对应的权重更新；先固定判别图像器D₁和判别视觉区响应器D₂中的权重参数，更新编码器G₁和解码器G₂中的参数；再固定编码器G₁和解码器G₂中的参数，更新判别图像器D₁和判别视觉区响应器D₂中的参数，依次循环进行权重更新；训练得到效果最好的编码器G₁；解码器G₂；判别图像器D₁；判别视觉区响应器D₂；

P6.测试阶段：采用训练好的解码器G₂解码测试视觉区响应信号。