[发明专利]一种面向通用多模态学习的神经框架搜索方法

权利要求书

1.一种面向通用多模态学习的神经框架搜索方法，其特征在于包含两点：一个覆盖更多可能性的稳定的高效冗余网络以及一个从冗余网络中搜索到子网络且保证子网络性能和效率的搜索方法；具体包括如下步骤：

步骤(1)、数据预处理，对图像和文本数据提取特征

步骤(2)、初始化编码器-解码器结构冗余网络和对应的架构参数；

步骤(3)、从架构参数分布中采样子结构，并计算结果；

步骤(4)、模型搜索，分为两个阶段：1.热启动阶段2.交替训练搜索阶段；

步骤(5)、模型训练，不断优化，直至整个网络模型收敛。

2.根据权利要求1所述的一种面向通用多模态学习的神经框架搜索方法，其特征在于步骤(1)具体实现如下：

1-1.对图像V进行预处理和特征提取：

对图像V进行亮度归一化并且比例缩放到最小边P_min像素，最长边裁剪到P_max像素，得到预处理后图像V′，将V′输入到训练好的Faster-RCNN网络中提取出图像中n个物体的框相应的特征最后d_feat为特征的表示维度，d_m为模型隐含层向量维度；

1-2.提取文本数据的特征：

对于给定的单词数量为m的句子通过用GloVe初始化的Word Embedding层句子的单词级表示再通过单层单向LSTM得到文本特征s_i表示每个单词的表征，d_glove为GloVe特征的表示维度。

3.根据权利要求2所述的一种面向通用多模态学习的神经框架搜索方法，其特征在于步骤(2)具体实现如下：

2-1.定义子操作多头关系注意力模块MHRA(x，y，z，r)；输入x，y，

其中head为：

其中head_j为第j个head，N_head为注意力头的数量，函数A为：

2-2.定义子操作自注意力机制SA(x)＝MHRA(x，x，x，0)；

定义子操作协同注意力机制GA(x，y)＝MHRA(x，y，y，0)；

定义子操作关系自注意力机制RSA(x，r)＝MHRA(x，x，x，r)；

定义子操作前馈网络FFN(x)＝W^f1Dropout(max(W^f0x，0))，其中

2-3.定义编码器层数e，解码器层数为d，初始化每一层的冗余结构，其中每层编码器的冗余结构：

a_enc(x)＝{SA(x)，FFN(x)}

每层解码器的冗余结构：

a_dec(x，y)＝{SA(x)，RSA(x)，GA(x，y)，FFN(x)}；

从而得到编码器A_enc(x)：

和解码器A_dec(x，y)：

初始化每个子操作所对应的架构参数：

其中，代表了第i层的SA(x)子操作所对应的架构参数，代表了第i层的RSA(x)子操作所对应的架构参数，GA(x，y)代表了第i层的ga子操作所对应的架构参数，代表了第i层的FFN(x)子操作所对应的架构参数。